트랜스포머와 어탠션 정리 --1

드디어 나를 괴롭히던 어탠션에 관해 이해한 후, 스스로 처음부터 정리해보았다!!! 

---

트랜스포머 등장 전

트랜스포머 전에는 RNN, CNN을 활용한 자연어처리가 이루어졌다. 그러나 이러한 방법은 시퀀스가 길어지면 앞의 정보가 잊혀지고(기억력이 짧음), 같은 모듈을 거치며 연산을 반복하여 정보의 유실이 많이 일어났다. 

트랜스포머의 등장 -> NO MORE RNN,CNN!!

 

트랜스포머의 구조

 

지겹도록 많이 본 그림

초록색은 인코더, 빨간색은 디코더 이다. 즉, 트랜스포머는 인코더와 디코더로 이루어져 있다. 그리고 많이 등장하는 단어가 Attention....Attention이 뭘까???? (여기서 많이 어려워하고 포기하기 쉽다..그치만 최대한 쉽게 정리해보겠다!)

 

어탠션은 주목이다. 

너무 이쁨

Looking for attention 너야겠어
확실하게 나로 만들겠어

---

You got me looking for attention
You got me looking for attention
가끔은 정말 헷갈리지만
분명한 건
Got me looking for attention

뉴진스의 어탠션에서도 알 수 있듯이 attention은 주목 관심, 그것도 너에게만 이라는 것이다. 즉, 

어디에 더 주목(가중치를 높게)해야하는가?를 알려주는 것이 바로 attention기법이다.

 

만약 번역기의 입장에서 누군가 '나는 학생입니다.'를 입력했다고 하자. 그러면 가장 먼저 I라는 단어를 내뱉기 위해서 나/는/학생/입니다 중에서 어디에 제일 주목해야할까? 정답은 '나'이다.  나/는/학생/입니다 4가지를 모두 고려한뒤 4개 단어에 대한 softmax확률값을 계산한다. 이를 attention score라고 하고, score가 가장 큰 값에 attention하는 것이 attention 기법의 콘셉이라고 보면 된다. 

 

트랜스포머의 어탠션 

 

트랜스포머에서 Multi-Head Attention 은 셀프어탠션이다. 어탠션과의 차이는 셀프어탠션은 자기 자신에게 어탠션기법을 적용한다는 것이다.

'나는 토끼를 키워. 그를 좋아하는 사람들이 많아.'

라는 문장에서 '그'에 셀프 어탠션을 적용하면? 토끼에 가장 많은 attention score가 주어질 것이고 그다음이 키워 순으로 이어질 것이다. 

이처럼 셀프 어탠션은 단어 간의 관계를 알려주어 연관성(유사도)이 높은 단어끼리 연결해주기 위해 쓰는 것이다. 즉 맥락을 부여하는 것이다. 

트랜스포머에서는 '그'에만 셀프 어탠션을 적용하는 것이 아니라 '나는' 부터 모든 입력 시퀀스에 어탠션을 수행한다. 

트랜스포머의 인코더와 디코더에는 모두 셀프어탠션이 적용된다. 

 

 

어탠션 함수

 

어탠션을 계산하는데에는 3가지 요소를 알아야한다. 바로 쿼리(Query), 키(Key), 벨류(value)이다. 

어탠션 함수 Attention(Q,V,K) = Attention Value 의 과정은 아래 그림과 같이 간단하게 표현할 수 있다. 

쿼리(Query), 키(Key), 벨류(value)가 대체 무엇인가?

앞의 예시를 다시 가져와서  '나는 토끼를 키워. 그를 좋아하는 사람들이 많아.'라는 문장에서

'그'에 셀프 어탠션을 적용했을때 '그' = 쿼리, '나는 토끼를 키워. 그를 좋아하는 사람들이 많아.'= 키 , 벨류 = 각 단어의 value

'그'에 대한 셀프 어탠션 결과로 각 단어에 대한 attention score가 나오게 되고,

각 가중치(score)에 각 단어에 대한 벨류 벡터를 곱해 더하면 '그'에 대한 attention value가 나온다.

 

트랜스포머에서 단어를 입력하면 ->  벡터로 변환되어 -> 어떤 계산 거쳐 쿼리, 키, 벨류로 변환됩니다. 

예를 들어 입력되는 문장이 6개 단어인 경우, self-attention 대상은 쿼리 벡터 6개, 키 벡터 6개, 벨류 벡터 6개, 총 18개 벡터 입니다. 

여기까지 보고, 다시 트랜스포머 구조로 넘어가 입력층부터 봅시다.

 

셀프 어텐션의 입력층 

전체에서 입력층(핑크)만 봐봅시다.

인코더의 입력부분만 떼서 가져왔습니다. 트랜스포머의 인풋은 입력임베딩+포지셔널 인코딩 이다. 포지셔널 인코딩은 위치 정보로 몇 번째 단어인지 나타내는 벡터입니다. '나는 토끼를 키워. 그를 좋아하는 사람들이 많아.'에서

나는 + positional encoding#1

토끼를 + positional encoding#2

키워+ positional encoding#3......이런식으로 더해져서 들어가게 되는 것이죠 

 

셀프 어텐션의 출력층 

디코더의 출력부분입니다. 

모델의 최종 출력은 target언어의 어휘 수만큼의 차원을 가지는 벡터가 됩니다. 그리고 소프트맥스를 취했기에 요소값을 모두 더하면 1이됩니다. 

트랜스포머에서 학습은 인코더와 디코더의 입력이 주어졌을 때 모델의 최종 출력에서 정답에 해당하는 단어의 확률값을 높이는 방식으로 수행됩니다. 

여기까지 트랜스포머의 입력과 출력을 보았고, 다시 셀프어탠션으로 돌아가 그 과정을 깊게 살펴봅시다. 

 

셀프 어탠션 과정

 

1. 쿼리, 키, 벨류를 만들자

방금 봤던 입력층을 거친 값(입력 벡터 시퀀스)을 X라고 할때, 쿼리 키 벨류는 X에 각각에 해당하는 행렬 (Wq,Wk,Wv)를 곱한값이다

쿼리 = X * Wq, 키=X*Wk , 벨류=X *Wv

             ***Wq,Wk,Wv는 태스크(ex-번역)을 잘 수행하도록 업데이트된다. 

 

2. self-attention 정의

Attention(Q,V,K) = Attention Value 를 다시 정리하면,

쿼리와 키를 행렬곱한 뒤, 해당 행렬의 모든 요소값을 키의 차원수릐 제곱근으로 나누고, 이 행렬에 대해 행 단위로 소프트맥스를 취해 스코어 행렬로 만들어주고 벨류를 행렬곱한다. 

 

멀티 헤드 어탠션

 = 셀프 어탠션을 여러 번 수행하는 것이다.