[NLP] 언어모델: 트랜스포머 개요

언어 모델이란?

단어 시퀀스에 확률을 부여하는 모델

 

트랜스포머?

2017년 구글이 제안한 시퀀스-투-시퀀스 모델, 기계번역과 같은 시퀀스-투-시퀀스  과제를 수행한다.

 

시퀀스?

단어와 같은 무언가의 나열

 

시퀀스-투-시퀀스?

특정 속성을 지닌 시퀀스를 다른 속성의 시퀀스로 변환하는 작업 (기계 번역)

소스 언어 -> 타깃 언어로 변환 (이때 길이가 달라도 과제 수행에 문제가 없어야 함)

 

시퀀스-투-시퀀스 모델의 구성

인코더 : 소스 시퀀스 압축(=인코딩)하여 디코더로 보냄

디코더 : 타깃 시퀀스 생성(=디코딩)

 

트랜스포머 구조

input:소스 시퀀스 전체

output : 타깃 시뭔스 일부

트랜스포머 학습 과정

인코더 입력 : 어제, 카페, 갔었어, 거기, 사람, 많더라 (소스시퀀스 전체)

디코더 입력: <s>

<s> 타깃 시퀀스의 시작을 알리는 스페셜 토큰

 

인코더는 소스시퀀스를 압축해 디코더로 전송하고 디코더는 인코더에서 받은 정보와 디코더 입력을 고려해 다음 토큰 (I)를 맞힘

 

 

트랜스포머의 최종 출력 = 디코더 출력 :::: 타깃 언어의 어휘 수만큼의 차원으로 구성된 벡터

특징 : 벡터의 요소들의 값은 모두 확률값 ---- 모두 더하면 1이 됨

 

트랜스포머의 학습은 인코더와 디코더입력이 주어졌을 때 정답 단어의 확률값을 높이는 방향으로 수행 -> 이 방향으로 모델을 계속 업데이트

 

학습 과정에 이전 정답 타깃 시뭔스 <s> I 를 넣어줌

 

이런 방식으로 말뭉치 전체를 학습하면 한-영 기계번역 수행이 가능