[자연어 처리] 한국어 토큰화, 품사태깅 구현 KoNLPy (Hannanum,Kkma),Khaiii

설치

!pip install konlpy

한나눔(Hannanum)

from konlpy.tag import Hannanum
hannanum = Hannanum()
text = '안녕하세요! 오늘 많이 추워요'
print(hannanum.morphs(text))  # Parse phrase to morphemes
print(hannanum.nouns(text))   # Noun extractors
print(hannanum.pos(text))     # POS tagger

['안녕', '하', '세', '요', '!', '오늘', '많', '이', '춥', '어요']
['안녕', '오늘']
[('안녕', 'N'), ('하', 'X'), ('세', 'E'), ('요', 'J'), ('!', 'S'), ('오늘', 'N'), ('많', 'P'), ('이', 'X'), ('춥', 'P'), ('어요', 'E')]

 

꼬꼬마

from konlpy.tag import Kkma
kkma = Kkma()
text = '안녕하세요! 오늘은 많이 추워요'
print(kkma.morphs(text))  # Parse phrase to morphemes
print(kkma.nouns(text))   # Noun extractors
print(kkma.pos(text))     # POS tagger

['안녕', '하', '세요', '!', '오늘', '은', '많이', '춥', '어요']
['안녕', '오늘']
[('안녕', 'NNG'), ('하', 'XSV'), ('세요', 'EFN'), ('!', 'SF'), ('오늘', 'NNG'), ('은', 'JX'), ('많이', 'MAG'), ('춥', 'VA'), ('어요', 'EFN')]

 

 

Khaiii

!git clone https://github.com/kakao/khaiii.git
!pip install cmake
!mkdir build
!cd build && cmake /content/khaiii
!cd /content/build/ && make all
!cd /content/build/ && make resource
!cd /content/build && make install
!cd /content/build && make package_python
!pip install /content/build/package_python

from khaiii import KhaiiiApi
khaiiApi = KhaiiiApi()

tokenized = khaiiApi.analyze('코딩과 AI 개발이 둘다 가능한 사람은 많지 않다.')
tokens = []
for word in tokenized:
    tokens.extend([str(m).split('/')[0] for m in word.morphs])

print(tokens)