이것저것 해본 한국어 데이터 증강 기법들

분류 문제에서 항상 맞닥뜨리게 되는 문제는 아무래도 데이터 불균형이 아닐까 싶다. 한 카테고리만 너무 많거나 너무 적어 다른 카테고리와 차이가 나는 상황에서 그대로 학습시키면 데이터가 적은 카테고리에 대해서는 잘 분류가 되지 않는다. 논문을 쓸 때도 처음에는 17분류를 하고자했지만 데이터 차이가 너무 커 5가지 큰 분류로 나눴었다. 그래도 데이터 증강이 필요해서 몇가지 테스팅을 했던 기억이 난다. 아무튼 지금까지 해본 여러 시도들을 정리해보고자 한다. 

 자연어 처리에선 대표적으로 아래와 같은 네가지 증강 기법이 존재한다. 

  - SR (Synonym Replacement): 특정 단어를 비슷한 의미의 유의어로 교체
  - RI (Random Insertion): 임의의 단어를 삽입
  - RS (Random Swap): 텍스트 내의 두 단어를 임의로 선정하여 서로 위치를 바꿔줌
  - RD (Random Deletion): 임의의 단어를 삭제

 

논문참고  https://arxiv.org/pdf/1901.11196.pdf

 

논문에서는 BackTranslation 기법도 활용했다. 한->일->한, 한->프->한 등 여러 외국어로 재번역을하고 다시 한국어로 되돌리는 작업이다. google translation과 papago API가 있지만 아마 파파고는 일일 제한이 있었던걸로 기억한다. 어떤 언어로 하는게 가장 성능이 좋은지는 일일이 돌려보고 선택하는게 좋다. 여러 외국어로 해봤지만 개인적으로는 영한 일한이 제일 괜찮았다. 샘플을 추출해보고 핵심 어휘가 손상되지 않았는지 확인해보자. 

이렇게 증강을 하고 결과물을 보면 원문이랑 정말 비슷한 경우가 많다. 그러면 결국엔 거의 중복 데이터랑 흡사하고 정확도가 올라갈수밖에 없지 않나하고 생각이 들기도 한다. 

 

---

ktextaug

https://github.com/jucho2725/ktextaug

GitHub - jucho2725/ktextaug: Data Augmentation Toolkit for Korean text.

위 기법과 비슷한 방법이다. 사용전 꼭 mecab을 깔고 아래 코드를 실행해야한다. 

pip install ktextaug
from ktextaug import TextAugmentation
sample_text = '달리는 기차 위에 중립은 없다. 미국의 사회 운동가이자 역사학자인 하워드 진이 남긴 격언이다.'

agent = TextAugmentation(tokenizer="mecab",
                        num_processes=1) # num_process 가 -1 일시 자동으로 가능한 process의 절반으로 할당
print(agent.generate(sample_text))

뉴스기사 중 일부를 발췌하여 돌려보았다. 

원문 :

'이에 따른다면 초등학생들의 소비 문화는 디지털 강국의 ‘개국 공신’이 되려는 몸부림으로 여길 수도 있다. 하지만 지나친 부모의 교육열이 부른 무분별한 소비라는 지적도 만만치 않다. 경기도 수원의 한 초등학교 교사는 “수업 시간에 휴대전화로 문자를 주고받기에 혼냈더니 다음날 부모가 찾아와 ‘내 아이 문제에 끼어들지 말라’고 했다. 요즘 초등학생들은 서구적 가치관도 전통적 가치관도 지니지 못한 경우가 많다”고 고민을 토로했다.'

 

변형문

이에 따르면 초등학생들의 소비문화는 디지털 강국에서 '창업 기여자'가 되기 위한 몸부림이라고 볼 수 있다. 그러나 부모의 지나친 교육열이 낳은 무분별한 소비라고 지적하기는 쉽지 않다. 경기도 수원시의 한 초등학교 교사는 “수업시간에 휴대폰으로 문자를 주고받았다고 혼났다. 요즘 초등학생들은 서구적 가치관이나 전통적 가치관이 없는 경우가 많다”고 걱정을 토로했다

내용이 달라지는 경우가 발생하긴 한다.