[NLP]딥러닝 기반 자연어 처리 모델

기계가 사람말을 알아듣게 하려면 모델이 있어야 함

 

입력(자연어) --------------> 모델(함수) -----------> 출력(확률값: 0~1사이)

 

NLP모델

: 자연어를 입력받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수이다.

 

출력된 확률을 post processing(후처리)해서 자연어로 다시 바꿈

 

가장 인기있는 모델 - 딥러닝(많은 은닉층 사용) ex) GPT, BERT,,,

 

딥러닝 모델의 학습

학습 데이터에 레이블이 있어야 함 ex) 감성분석의 경우 - 긍정1 중립0 부정0

모델이 스스로 패턴을 익힐 수 있도록 train(학습)

 

train : 출력이 정답에 가까워지도록 모델을 업데이트하는 과정

 

 

Transfer learning 전이 학습 : 특정 테스크를 학습한 모델을 다른 테스크 수행에 재사용하는 기법

장점 : 모델의 학습 속도가 빨라지고 새로운 테스크를 더 잘 수행함

 

Upstream task : 다음 단어 맞히기, 빈칸 채우기 등 대규모 코퍼스의 문맥을 이해하는 과제

   - GPT 계열 모델 : 다음 단어 맞히기로 Pretrain

  -----> 언어 모델 ( 다음 단어 맞히기로 Upstream task 수행한 모델)

 

   - BERT 계열 모델 : 빈칸 채우기로 Pretrain

-----> Masked  언어 모델 ( 다음 단어 맞히기로 Upstream task 수행한 모델)

 

Downstream task : 문서 분류, 개체명 인식 등의 구체적인 문제

 

Pretrain : Upstream task를 train하는 과정

Pretrain하는 이유? Downstream task를 잘하기 위해!

 

Fine-tuning(파인튜닝) : Downstream task train하는 과정

ex) 문서 분류의 경우 Pretrain마친 BERT 모델 전체를 문서 분류 데이터로 업데이트 함

 

 

 

모델 train의 파이프라인

• 각종 설정값 설정(하이퍼파라미터-learning rate, batch_size..)
• 데이터 내려받기
• Pretrain 마친 모델 준비
• 토크나이저 준비
• 데이터 로더 준비
• 테스크 정의
• 모델 train하기