[NLP] 셀프 어탠션

셀프 어텐션 수행 대상 = 입력 시퀀스 전체

 

개별 단어와 전체 입력 시퀀스를 대상으로 어텐션 계산을 수행해 문맥 전체를 고려하기 때문에 지역적인 문맥만 보는 CNN과 차이가 있음

모든 경우의 수를 고려(단어들 서로가 서로를 1대 1로 바라보게 함)하기 때문에 시퀀스 길이가 길어지더라도 정보를 잊거나 왜곡할 염려가 없다는 점에서 RNN과 차이

 

어텐션과 셀프 어텐션 차이

 

1. 어텐션은 소스 시퀀스 전체 단어들(어제, 카페, …, 많더라)과 타깃 시퀀스 단어 하나(cafe) 사이를 연결하는 데 쓰입니다. 반면 셀프 어텐션은 입력 시퀀스 전체 단어들 사이를 연결합니다.
2. 어텐션은 RNN 구조 위에서 동작하지만 셀프 어텐션은 RNN 없이 동작합니다.
3. 타깃 언어의 단어를 1개 생성할 때 어텐션은 1회 수행하지만 셀프어텐션은 인코더, 디코더 블록의 개수만큼 반복 수행합니다.

트랜스포머 인코더 디코더 둘 다 셀프 어탠션이 적용됨

 

 

계산 예시

셀프 어텐션은 쿼리(query), 키(key), 밸류(value) 세 가지 요소가 서로 영향을 주고 받으며 문장의 의미를 계산한다

 

각 단어 벡터는 블록 내에서 어떤 계산 과정을 거쳐 쿼리, 키, 밸류 세 가지로 변환

 

셀프 어탠션 계산

트랜스포머 블록에 입력되는 문장이 그림처럼 여섯 개 단어로 구성돼 있다면 이 블록의 셀프 어텐션 계산 대상은 쿼리 벡터 6개, 키 벡터 6개, 밸류 백터 6개 등 모두 18개가 된다

셀프 어텐션은 쿼리 단어 각각에 대해 모든 키 단어와 얼마나 유기적인 관계를 맺고 있는지 그 합이 1인 확률값으로 나타냅니다. 그림17을 보면 카페라는 쿼리 단어와 가장 관련이 높은 키 단어는 거기라는 점(0.4)을 확인할 수 있습니다.

 

셀프 어텐션 모듈은 그림과 같은 결과에 value 벡터들을 가중합(weighted sum)하는 방식으로 계산을 마무리

 

새롭게 만들어지는 카페 벡터(Z카페)는 문장에 속한 모든 단어 쌍 사이의 관계가 녹아 있다

이러한 방식으로 나머지 단어들도 셀프 어텐션을 각각 수행합니다.

모든 시퀀스를 대상으로 셀프 어텐션 계산이 끝나면 그 결과를 다음 블록으로 넘깁니다.

 

이처럼 트랜스포머 모델은 셀프 어텐션을 블록(레이어) 수만큼 반복한다