[NLP] 토큰화 , BPE, 워드피스

토큰화란?

문장을 토큰 시퀀스로 나누는 과정

 

토크나이저란?

토큰화 수행하는 프로그램

 

한국어 토크나이저 : mecab, kkma,,,,,등등 종류에 따라 품사 태깅까지 하는 경우도 있음

 

<토큰화 방식>

1. 단어(어절) 단위 토큰화

- 공백 기준으로 토큰화    ex) 아까 카페에 있었어 -> 아까, 카페에, 있었어

-- 공백으로 분리하면 별도로 토크나이저를 쓰지 않아도 된다는 장점이 있지만, 어휘 집합(vocabulary)의 크기가 매우 커질 수 있음(있어, 있었어, 있었는데요까지 모든 경우의 수가 어휘집합에 들어가야 하기 때문)

어휘 집합 크기가 커지면 그만큼 모델 학습이 어려워질 수 있음

 

mecab같은 경우 아까, 카페에, 있었,어 와 같이 의미있는 단위로 토큰화하기에 어휘집합크기가 지나치게 커지는 것을 막을 수는 있음

 

 

 

2. 문자 단위 토큰화

 

한글로 표현가능한 글자는 모두 11172개이므로 어휘집합크기가 비교적 작음

미등록 토큰 문제로부터 자유로움(ex신조어)

그러나 의미있는 토큰이 되기 어려움. 가령, 어제의 어와 언어의 어의 구분이 사라짐 -> 성능이 떨어짐

아,까,카,페,에,있,었,어

 

 

3. 서브워드 단위 토큰화

둘의 장점을 취합함.

BPE:바이트 페어 인코딩

GPT모델은 BPE, BERT는 워드피스를 토크나이저로 사용

연속된 두글자를 한문자로 취합함

 

 

 

BPE 활용한 토큰화 절차 

1. 어휘 집합 구축

    - pre-tokenize: 코퍼스에서 모든 문장을 공백(또는 다른 기준)으로 나눠줌

    - 자주 등장하는 문자열 병합 후 사전에 추가,, 원하는 어휘집합 될때까지 반복

    - 고빈도 bigram(2개씩 묶는) 쌍을 병합하는 방식으로 구축

    - 어휘 집합은 vocab.json으로 저장, 병합 우선순위도 merge.txt로 저장

2. 토큰화

   - 토큰화 대상 무장의 각 어절에서 어휘 집합에 있는 서브워드가 포함되었을 때 해당 서브워드를 어절에서 분리

   - 문자 단위로 분리한 후 병합 우선순위(merge.txt에 따라) 부여

   - 우선순위에 따라 병합 -> 우선순위 부여 -> 반복 , 어휘집합에 없는 토큰은 <unk>(미등록토큰)으로 처리

 

 

워드피스

어휘집합 구축시 문자열 병합할 때 빈도가 아닌 우도(likelihood)를 가장 높이는 글자 쌍을 병합

어휘 집합(vocab.txt)만 가지고 토큰화

분석 대상 어절에 어휘 집합에 있는 서브워드가 포함되었을 때 해당 서브워드를 어절에서 분리

이러한 서브워드 후보가 여럿있을 경우 가장 긴 서브워드 선택

이후 어절의 나머지에서 어휘 집합에 있는 서브워드를 다시 찾고, 분리,,, 분석 대상 문자열에서 서브워드 후보가 하나도 없으면 해당 문자열 전체를 미등록 단어로 취급

 

 

패딩 padding

병렬 연산을 위해서 여러 문장의 길이를 임의로 동일하게 맞춰주는 작업

max_length가 7인경우. 길이가 7보다 짧은 문장에는 숫자 0을 채워서 길이 7로 맞춤

이와 같이 패딩은 데이터에 특정 값을 채워서 데이터의 크기(shape)를 조정하는 것

숫자 0을 사용하고 있다면 제로 패딩(zero padding)이라고 한다