프로젝트/(NLP)GPT2의료기사생성 (3) 썸네일형 리스트형 (3) GTP2를 이용한 의료기사생성 AI - 무작성 기사쓰기! 지난 진행상황에서 "의료기사 데이터와 의료지식 데이터를 한번에 학습시킨 모델" 이 원터치로 "의료기사"를 생성하는 것이 무리라고 판단했다. 그리고 다음과 같은 의문이 생겼다 '최신기사를 학습 시켜서 최신기사를 결과물로 내놓을거면, 중간에 GPT는 왜 필요한거지? 그냥 최신기사를 copy+paste하면 되는거 아닌가?'. 그래서 모델생성 팀원과 얘기를 나눠본 결과 팀원이 생각한 최종 결과물은 이런 식이라고 한다. 기사 생성 모듈에서도 최신 데이터를 학습시키고, 기사 내용도 최신 지식이 반영되기를 바라는 식이다. .... 우선 처음 이 얘기를 듣고 나는 이 목표를 달성하기 위해선 실시간 크롤링, 실시간 전처리, 실시간 학습모델이 필요하다고 생각이 들었다. 따라서 서버에 크롤링, 전처리, RNN모델을 다 올려.. (2) GTP2를 이용한 의료기사생성 AI - 모델 평가 그동안 게을러서 진행 사항을 정리 안했더니 포스팅할 내용이 쌓였다. (11.09) 오늘 진행할 내용은 다음과 같다. - 사전 fine_tuning 해놓은 모델 불러오기 연습 - 팀원이 전처리한 데이터로 다시학습하기 - 팀원이 정리한 문단출력방식 활용해보기 fine tuning한 모델 불러오기 불러오기 과정에서 알아야 할 요소는 다음과 같다. - GPT_finetuning.ipynb 파일: 데이터를 로드하고, 모델을 생성, 저장하는 코드 - Dataset폴더: 전처리된 csv 데이터가 저장되어있음 - data_out폴더: fit된 모델을 h5파일로 저장 팀원이 전처리한 데이터로 다시학습하기 - dataloader에서 불러오는 데이터 변수명을 수정해주었다. 팀원이 정리한 문단출력방식 활용해보기 팀원이 제시한.. (1) GTP2를 이용한 의료기사생성 AI - 프로젝트 시작 3-2학기 공개 SW 프로젝트 수업 "크롤링과 NLP를 이용한 의료 기사 생성 AI" 를 주제로 프로젝트를 진행하게 되었다. 오픈 소스를 이용해 작업하는 수업 취지에 맞게 OSS를 활용해야 하며, 그 대상으로는 최근 핫 이슈인 GPT3를 선정하였다. GPT3란? Generative Pre-trained Transformer 3 ( GPT-3 )는 딥러닝을 사용하여 인간과 유사한 텍스트를 생성 하는 자동 회귀 언어모델 입니다 . 이 모델은 샌프란시스코에 기반을 둔 인공지능 연구소의 영리 기관인 OpenAI 에서 만든 GPT-n 시리즈의 3세대 언어 예측 모델입니다. GPT-3의 정식 버전은 1,750 억 개의 기계학습 매개변수를 가지고 있습니다. 2020년 5월에 도입되어 2020 년 7 월 현재 베타 테.. 이전 1 다음
