[NLP] 트랜스포머 블록, 어탠션과 셀프 어탠션

 

 

 

트랜스포머 인코더 블록 / 레이어

 트랜스포머의 인코더는 이같은 블록을 수십 개 쌓아서 구성한다

인코더 블록 구성요소

• 멀티 헤드 어텐션(Multi-Head Attention) 
• 피드포워드 뉴럴네트워크(FeedForward)
• 잔차 연결 및 레이어 정규화(Add & Norm) 

 

디코더 블록

• 마스크를 적용한 멀티 헤드 어텐션(Masked Multi-Head Attention) 
• 멀티 헤드 어텐션(Multi-Head Attention)
• 피드포워드 뉴럴 네트워크(FeedForward) 
• 잔차 연결 및 레이어 정규화(Add & Norm) 

 

 

Self attention = Multi-Head Attention

 

어텐션 = 중요한 요소에 더 집중해 성능을 끌어 올리는 기법

기계번역에 어텐션 도입하면 타깃 언어를 디코딩할 때 소스 언어의 단어 시뭐스 가운데 디코딩에 도움이 되는 단어 선택해 번역 품질 향상

 

Self attention = 자기자신에게 수행하는 어텐션

입력 시퀀스 중 태스크 수행에 의미있는 요소 위주로 정보를 추출한다는 의미

 

합성곱 신경망(CNN)과 비교

CNN=합성곱 필터(convolution filter)로 시퀀스의 지역적인 특징을 잡아내는 모델

CNN이 문장을 인코딩하는 과정- 합성곱 필터(붉은색 네모칸)이 단어를 하나씩 넘기면서 차례대로 읽음

 

필터 크기가 3(3개 단어씩 처리)이라면 4칸 이상 떨어져 있는 단어 사이의 의미는 캐치하기 어렵다

즉 합성곱 필터 크기를 넘어서는 문맥은 읽어내기 어렵다

 

 

순환 신경망(RNN)과 비교

RNN 역시 시퀀스 정보를 압축하는 데 강점이 있는 구조

소스 시퀀스를 차례대로  처리함

하지만 시퀀스 길이가 길어질수록 정보 압축에 문제 : 오래 전에 입력된 단어는 잊어버리거나, 특정 단어 정보를 과도하게 반영해 전체 정보를 왜곡하는 경우가 자주 생긴다

 

기계 번역을 할 때 RNN을 사용한다면 인코더가 디코더로 넘기는 정보는 소스 시퀀스의 마지막인 많더라라는 단어의 의미가 많이 반영될 수밖에 없음

RNN은 입력 정보를 차례대로 처리하고 오래 전에 읽었던 단어는 잊어버리는 경향이 있기 때문

 

어텐션과 비교

cafe의 어탠션

cafe에 대응하는 소스 언어의 단어는 카페이고 이는 소스 시퀀스의 초반부에 등장한 상황입니다. cafe라는 단어를 디코딩해야 할 때 카페를 반드시 참조해야 하는데요. 어텐션이 없는 단순 RNN을 사용하면 워낙 초반에 입력된 단어라 모델이 잊었을 가능성이 크고, 이 때문에 번역 품질이 낮아질 수 있습니다.

 

디코더 쪽 RNN에 어텐션을 추가함 - 어텐션은 디코더가 타깃 시퀀스를 생성할 때 소스 시퀀스 전체에서 어떤 요소에 주목해야 할지 알려주므로 카페가 소스 시퀀스 초반에 등장하거나 소스 시퀀스의 길이가 길어지더라도 번역 품질이 떨어지는 것을 막을 수 있습니다

입력 시퀀스가  어제, 카페, 갔었어, 거기, 사람, 많더라 일 때  거기 라는 단어가 어떤 의미를 가지는지 계산하는 상황

잘 학습된 셀프 어텐션 모델이라면 거기에 대응하는 장소는 카페라는 사실을 알아챌 수 있을 것입니다. 그뿐만 아니라 거기는 갔었어와도 연관이 있음을 확인할 수 있습니다. 트랜스포머 인코더 블록 내부에서는 이처럼 거기라는 단어를 인코딩할 때 카페, 갔었어라는 단어의 의미를 강조해서 반영

 

‘카페’의 셀프 어텐션

트랜스포머 인코더 블록은 카페라는 단어를 인코딩할 때 거기, 갔었어라는 단어의 의미를 다른 단어들보다 더 강하게 반영