[NLP 1-2] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding 논문리뷰 - 3

#스스로 공부하고 만든 내용입니다.

BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding

https://arxiv.org/abs/1810.04805     (원문)

 

이전 글과 이어지는 내용입니다. 

 

- Introduction & Related Works

- Pre-training

- Fine-tuning

- Experiment

- Conclusion + koBERT

 

 

 

fine-tuning은 사전학습된 문장의 문맥 정보 등을 고려한 weight 값을 가지고, 사전훈련된 BERT의 파라미터를 그대로 가져와 문서분류, 개체명인식과 같은 과제에 적용 할 수 있도록 모델을 업데이트하는 과정입니다.

 

fine-tuning은 pre-train과 달리, 지도 학습으로 학습이 이루어지게 된다는 차이점이 있습니다.

 

이 논문에서는 4가지 task로 fine tuning 하는 과정을 보여줍니다. 

 

위의 두개는 문장 간의 관계를 파악하는 문장임베딩,  아래의 두개는 토큰 단위로 파악하는 토큰임베딩입니다.

1. 자연어 추론 태스크
2. 텍스트 분류 태스크
3. 질문-응답 태스크
4. 개체명 인식 태스크

 

자연어 추론 태스크

 

자연어 추론 태스크는,  문장 두 개가 주어졌을 때 해당 문장 사이의 관계가 어떤 범주에 속하는지 분류하는 과제 입니다.

 

예를 들어 '나 출근했어' 와 '난 백수야' 라는 두 문장을 넣었을 때 이것을 참, 거짓, 중립 범주에 해당되도록 분류하는 것입니다.

그래서 두 문장이 들어왔을 때, 토큰화 한 뒤 [CLS] 토큰과 [SEP] 토큰을 추가해 BERT모델에 입력하고 BERT 모델 마지막 레이어 출력 중 다른 모든 토큰 임베딩을 무시하고 [CLS]에 해당하는 토큰 임베딩 벡터만 뽑습니다.

 

이 벡터에 작은 추가 모듈을 덧붙여 모델 최종 ouput인 참, 거짓, 중립 형태가 되도록 합니다.

이 작은 추가 모듈 안에서는 과적합을 방지하기 위해 dropout을 적용하고, 분류해야 할 범주가 나오도록 가중치 행렬을 곱한 뒤, softmax 함수를 취하는 과정을 거치게 됩니다.

이렇게 해서 만든 모델의 최종 출력 결과와 정답 레이블을 비교해 최종 출력값이 정답 레이블과 최대한 같아지도록 모델 전체를 업데이트 하면서 학습을 합니다.

 

 

 

텍스트 분류 태스크

문장이 주어졌을 때, 해당 문장이 긍정인지 부정인지 분류하는 태스크로,

예를 들어 '이 영화 재미 없네요' 와 같은 문장이 들어왔을 때, 이 문장은 부정으로 예측하도록 학습시키는 과제입니다.

입력 문장을 토큰화 한 뒤 1번과 동일한 방식으로[CLS] 토큰과 [SEP] 토큰을 추가해 BERT모델에 입력하고 BERT 모델 마지막 레이어 출력 중 다른 모든 토큰 임베딩을 무시하고 [CLS]에 해당하는 토큰 임베딩 벡터만 뽑습니다.

 

이 벡터에 작은 추가 모듈을 덧붙여 모델 최종 ouput이 긍정, 부정의 각 범주의 확률값으로 나타나도록 할 것입니다.

작은 추가 모듈 안에서는 1번과 동일한 방법으로 dropout과 softmax 함수를 취하는 과정을 거쳐 모델의 최종 출력과 정답 레이블을 비교해 모델 출력이 정답 레이블과 최대한 같아지도록 모델 전체를 업데이트합니다.

 

 

 

질의응답 태스크

 

질문과 질문에 대한 응답이 포함된 단락이 주어졌을 때, 주어진 질문에 대한 답을 단락에서 추출하는 태스크입니다.

 

예를 들어 한글이 창제된 연도는?' 과 '한글은 1443년 만들어졌다.'와 같은 질문과 단락을 넣었을 때, 정답인 1443을 출력해 주도록 학습 시킵니다.

 

그러면 그림과 같이 질문과 단락을 각각 토큰화 한 뒤 [CLS]토큰과 [SEP]토큰을 추가해 BERT의 입력값으로 넣게 됩니다. 모든 입력 토큰에 대해 BERT 모델의 마지막 레이어로 각 토큰마다 임베딩 벡터를 뽑습니다.

앞의 과제와는 다르게 [CLS]의 마지막 출력 토큰만 사용하지 않고, 지문 부분의 마지막 출력 토큰 벡터를 사용하게 됩니다.

이 토큰 벡터에 각각 작은 추가 모듈을 덧붙여 모델의 출력이 해당 토큰이 정답의 시작이나 끝일 확률이 되도록 만듭니다.

즉, 지문의 '한글'과 '은' 부분은 정답의 시작도 끝도 아니기 때문에 굉장히 낮은 확률값이 나오게 학습 시키고, '1443' 부분은 정답의 시작 부분이기 때문에 높은 확률값이 나오도록 학습 시킵니다.

 

작은 추가 모듈 과정에서는 어떤 일이 일어나냐면, 드롭아웃과 소프트맥스 함수를 취하는 것은 이전과 동일합니다. 드롭아웃을 적용한 뒤 가중치 행렬을 곱해서 2차원 벡터로 변환합니다. 여기서 2차원 벡터로 변환하는 이유는 각각이 정답의 시작인지 아닌지, 정답의 끝인지 아닌지의 정보를 나타내기 때문입니다.

 

이후 정답의 시작인지 아닌지를 판단하는 값만 모아서 softmax값을 취해줘 나온 값, 같은 방법으로 정답의 끝인지 아닌지를 판단하는 값만 모아서 softmax값을 취해서 나온 값으로 나뉘게 되는데 각각은 최종 결과값이 정답의 시작과 관련한 값을, 정답의 끝과 관련된 값을 출력합니다.

 

위와 같이 최종 출력값과 정답 레이블을 비교해 모델 출력이 정답 레이블가 최대한 같아지도록 모델 전체를 업데이트하며 학습합니다.

 

 

 

 

개체명 인식

 

개체명 인식은 문장을 토큰화한 뒤 토큰 각각에 인명, 지명, 기관명 등 개체명 태그를 붙여주는 태스크입니다.

 

예를 들어, Input 토큰을 BERT모델에 입력한 뒤, 모든 토큰에 대해 BERT 모델 마지막 레이어의 출력을 뽑습니다.

각각의 출력 벡터에 위에서 언급했던 작은 추가 모듈들을 덧붙여 해당 토큰이 특정 개체명에 속할 확률값으로 나오도록 합니다.

개체명 태그 수와 종류는 데이터를 제작할 때 자유롭게 정할 수 있으며 인명, 지명, 기관명, 날짜 등이 개체명 태그의 예시가 될 수 있겠습니다.

 

앞과 동일하게 드롭아웃을 거치고 분류할 개체명의 수의 개수로 차원을 만들고 softmax 함수를 취해 확률값으로 바꿔주게 됩니다.

개체명을 몇 개로 나눌 것 인지에 따라 다음과 같이 여러 개로 표현할 수 있습니다.

 

따라서 개체명이 속한 범주를 반환하도록 모델 전체를 업데이트하며 학습하는 과정입니다.

 

 

 

BERT의 전체 과정 전체를 간단하게 정리하자면, input으로 문장이 들어오게 되면 random하게 일부 문장이 마스킹 됩니다. 이후 word piece 방법으로 토큰화가 진행되고 token embedding, segment embedding, position embedding 값이 더해져 BERT의 입력 값으로 들어가게 됩니다. BERT에 입력된 마스킹 된 토큰을 예측하기 위해 모델을 학습 시키며 동시에 뒤에 나온 문장에 앞에 나온 문장의 후속 문장인지 분류하도록 학습시킵니다.

 

사전 훈련을 마친 BERT의 가중치를 그대로 가져와 목적에 맞게 앞서 설명한 4가지 방법 중 목적에 맞는 과제를 선택하여 fine tuning을 진행하게 됩니다. fine tuning 과정에서 파라미터를 미세 조정하며 모델을 학습 시켜 성능을 더 높게 만듭니다.