[자연어처리] 텍스트 전처리(Text Preprocessing)

텍스트 전처리 과정

1. normalization : raw string을 cleaning하는 작업(여백 제거, 대소문자 변환)

2. pre-tokenization : text를 word로 자르기

3. tokenization: 더 작게 자르는 과정

 

1. normalization

- stemming , lestemming : 간다, 갔다, 가는,,,,-> 어근="가"

- uncased : 모두 소문자로 바꿈(He=he를 명시하기위해, 한국어는 해당되지 않음)

- 불용어 제거 : 특수문자, 학습에 필요하지 않은 단어(영어의 경우 길이가 1인 단어를 제거하기도함)

- 정규 표현식 활용한 패턴 제거- (re, NLTK)

 

2. pre-tokenization 

- 가장 기본적인 방법은 특수문자 제거, 띄어쓰기 기준으로 자르기

- 한국어 토크나이저로는 KoNLPy, Khaiii, soynlp 가 있음(soynlp는 다른 두 방법과 다르게 확률적 통계 방법을 쓰는 비지도적인 학습을 사용)

KoNLPy

- Hannanum, KKma, komoran, Mecab, Okt 가 있지만 이중에서도 가장 성능이 좋다고 알려진(글자수가 많아져도 시간이 별로 안걸림) Mecab, Okt를 쓰는 경우가 대다수

띄어쓰기 교정

from pykospacing import spacing

spacing=Spacing()

kospacy = spacing(text)

맞춤법 교정

from hanspell import spell_checker