감정 분류 모델 만들고 성능 개선까지 (BERT, GPT2, RoBERTa, DistilBERT)

간단한 긍부정 이진 분류 모델을 만들었다. 

전체코드는 깃헙에서 볼 수 있다!

https://github.com/Juyoung-b/Improving-the-Performance-of-Sentiment-Classification

GitHub - Juyoung-b/Improving-the-Performance-of-Sentiment-Classification

 

영어로 된 레스토랑 리뷰를 가지고, 긍정(1), 부정(0)으로 분류하는 간단한 task 모델이다. 

이번 프로젝트에선 모델의 성능을 개선하는것에 집중했다.

다양한 pre-trained 모델을 써보고, 정확도를 올리기 위해 하이퍼파라미터 튜닝과 시도한 방법들에 초점을 맞췄다. 대략적인 플로우는 다음과 같다. 

개발 환경은 python, pytorch, 코랩 프로플러스 이다. 

1.  데이터 준비

Yelp 데이터셋의 긍부정이 레이블링된 레스토랑 리뷰 총 443,259개를 준비했다. train 데이터로는 긍정리뷰 266041개 문장, 부정리뷰는 177218개의 문장, validation문장은 긍부정 각각 2000개씩 준비했다. 

 

2.  전처리

전부 한 문장으로 된 영어 리뷰로, 전처리할 것이 없어 하진 않았다. 

 

3. fine-tuning

huggingface의 transformer 모듈로 각 모델을 불러와서 훈련시키는 것은 어렵지 않다.

BERT, RoBERTa, DistilBERT, GPT2의 토크나이저, 모델을 불러와 train했다. 분류에 쓸 수 있는 모델은 이 말고도 ALBERT, 등 다양한 모델들이 있다. 

각 모델을 사용한 이유는 우선, BERT는 방대한 corpus로 훈련된 모델이기에 fine tuning으로 높은 성능을 낼 수 있는 모델이다. RoBERTa는 페이스북에서 공개한 언어모델로, BERT를 기반으로 하지만 프리트레인 방식을 변화시키고, 학습 데이터를 증가시켜 기존 버트의 한계점을 보완한 모델이다. 논문에 따르면, RoBERTa가 BERT보다 우세한 성능을 보이기에 실험 모델에 추가했다.(실제로 RoBERTa가 BERT보다 높은 정확도를 보였다.)DistilBERT는 BERT보다 40% 작고, 60% 빠르면서도 97%의 capability를 보존하는 모델로, 효율적인 모델이라 판단하여 사용했다.하지만 코랩 GPU 제한량이 있어 한 번밖에 실험해보진 못했다..

GPT-2는 BERT와 달리 transformer 의 디코더를 사용하는 모델이고, 입력 시퀀스의 마지막 토큰은 입력 뒤에 와야 하는 다음 토큰을 예측 하는데 사용된다. 이는 입력 시퀀스의 마지막 토큰에 예측에 필요한 모든 정보가 포함되어 있음을 의미하므로 분류에서 그 정보를 사용하여 예측할 수 있기에 분류 태스크를 수행할 수 있다.

Bert에서처럼 첫 번째 토큰 임베딩을 사용하여 예측하는 대신 마지막 토큰 임베딩을 사용하여 예측해야 하기에, 기존 BERT기반 모델과 다르게  GPT2에서는 예측을 위해 마지막 토큰을 사용하고 있으므로 왼쪽에 패딩을 넣어야 한다. 

 

4. 결과

- 하이퍼파라미터 튜닝

하이퍼파라미터는 배치사이즈, 러닝레이트, 에포크를 조정했는데 코랩 GPU 제한이 있어 배치사이즈는 512이상 할 수 없었고 에포크도 3~4회밖에 못했다. 러닝레이트는 1에포크 이후 로스가 잘 줄어들지 않아 러닝레이트 스케쥴러를 추가했다. 러닝레이트 스케쥴러는 파이토치에서 제공하는 LamdaLR을 사용하여 0.6의 거듭제곱으로 줄어들게 하였다. 추후에는 wandb에서 제공하는 sweeps툴을 사용했다. 

다음 표는 결과를 한눈에 볼 수 있게  정리한 것이다. 

정확도는 roBERTa를 사용한 경우가 98.28로 제일 높았으나 test 정확도는 BERT가 98.9로 가장 높았다.

기본적으로 성능이 좋다고 알려진 좋은 모델을 쓰고, 배치사이즈를 늘리는 것이 성능을 높인다는 것을 알 수 있다. 그렇지만 배치 사이즈를 무작정 엄청 크게 한다고 해서 정확도가 올라가지는 않는다. 모델별로 베스트 하이퍼파라미터가 다 다르기 때문이다. 

- GPT2의 특이점

GPT2는 다른 BERT 기반 모델들에 비해 모델 정확도보다 테스트 정확도가 낮아지는 경우가 발생한 것으로 보아,

GPT2가 다른 BERT기반 모델에 비해 classification task 에서는 성능이 좋지 않은 경향이 있다고 생각되어 이유를 찾아본 결과,

GPT-2는 BERT와 다르게 앞에서 본 데이터만을 기반으로 다음 단어를 예측하면서 학습한 모델이기에 분류 작업에 사용되는 경우 이미 본 패턴에 너무 많이 의존하는 경향이 있어, 새 데이터에서 성능이 저하될 수 있으며 이는 과적합으로 이어질 수 있다고 한다. 또한 GPT-2는 텍스트 분류보다는 다음 단어나 토큰을 예측하는 것이 주요 목표인 언어 모델이기에 분류에서는 다른 모델에 비해 낮은 성능이 나올 수 있다. 

또 다른 이유는 GPT-2의 파라미터 수가 많기 때문에 모델이 과적합되기 쉽다는 것이다. 많은 파라미터를 사용하면 모델이 훈련 데이터를 맞출 수 있는 용량이 더 크지만 새로운 데이터로 잘 일반화하지 못할 수 있다고 한다.

물론 모델마다 베스트 하이퍼파라미터가 다 다를 수 있다는 점을 감안하고 봤을 때, GPT2는 BERT기반 모델들에 비하면 텍스트 분류문제에서는 좋은 성능을 보이지 않는다고 생각한다.

- 보완점

실험하면서 loss와 acc를 Wandb (Weight&Bias)라는 툴로 시각화하여 관리했다. 

 

정리하자면 99%의 정확도를 달성하겠다는 목표로 하이퍼 파라미터 튜닝을 하고 다른 모델들을 사용했지만 정확도를 크게 올리진 못했다. 다른 방법을 모색한 결과 sweeps를 사용한 하이퍼파라미터 서칭, 데이터 증강을 계획하였지만, 코랩의 GPU 소진으로 설계한 모든 실험을 완료할 수 없었다.(역시 인프라가 중요하다..) 여기서부터는 시도했지만 적용은 해보지 못했던 아이디어들에 대해 소개해보려 한다. 

 

-Sweeps 를 통한 하이퍼파라미터 서칭

하이퍼 파라미터를 일일이 바꿔주는 과정을 좀 더 용이하게 하기위해 Sweeps라는 툴을 사용했다. 다음은 Sweeps를 적용하여 BERT 모델로,  count=3으로 하여 위의 세개의 파라미터를 변화시키면서 해본 결과이다

세 파라미터중 가장 중요한 파라미터는 learning rate라는 점, 즉 같은 모델을 사용한다면 배치 사이즈를 늘리는 것 이상으로 learing rate를 잘 선택하는 것이 더 중요하다는 것을 볼 수 있었다.

시간과 GPU  제약으로 충분한 시도를 못한 점이 아쉽지만 count 값을 충분히 크게하여서 여러 파라미터들을 비교해 본다면 원하는 최적의 파라미터값을 찾는데 도움이 될 것이다.

 

- back translation 을 통한 데이터증강

데이터 증강은 단어 교체, 삽입, 위치 변경, 삭제를 하는 방법도 있지만. 큰 다양성을 확보하지는 못한다는 단점이 존재한다. 이를 극복하고자한 대표적인 Text Generation 방법인 Back Translation은 번역기를 이용하여 Label을 유지한 채로 원본 Data를 타 언어로 번역한 뒤, 다시 원래의 언어로 재번역하는데, 이때 추가되는 노이즈가 증강 측면에서 성능을 크게 올린다고한다. 

정규표현식을 활용하여 전처리를 하고, 영어 → 프랑스어 → 영어로 재번역하여 부정리뷰 20만개까지 증강해볼 계획을 세웠다. 긍정리뷰와 부정리뷰 개수가 7만개로 상대적으로 긍정적인 리뷰가 학습과 분류가 더 잘 된다고 생각했기 때문이다. 그러나, 3300개 까지 증강한 상황에서 코랩 GPU와 computer units 할당량을 다 소진하여 적용하진 못했다.

 

- 더 좋은 시각화를 위해 

세번째로는, 시각화한 모습을 보시면 train loss와 validation loss가 서로 다른 time에 찍혀있는것을 볼 수 있습니다. train은 계산될때마다, val은 특정 구간의 평균으로 계산하여 시각화했기 때문에, 서로 명확한 비교가 어려웠다. train loss가 기록되는 timestep을 validation loss가 기록되는 time step과 맞춰야 할 것이다. 이 방법에는 여러가지가 있는데, vaildation이 찍힐때 train을 같이 찍거나 log에 저장되는 train loss 만 쭉 저장한뒤, 나중에 맞춰서 그려주는 방법이 있다. 

 

- ensemble 모델

추후에는 각 모델 별로 최적의 파라미터를 찾아서 만든 몇 개의 모델들을 이용해서 ensemble 모델 (hard voting classifier) 을 만들어서 사용하는 것도 좋은 방법이 될 것 같습니다.