Bag-of-words

 

Bag-of-words(BoW) is a statistical language model used to analyze text and documents based on word count. 

 

 BoW는 단어의 빈도수를 기반으로 한다. BoW가정을 기반으로 한 워드 임베딩은 문장 내 단어 등장 순서를 고려하지 않는다. 

 

 

 

위 이미지 처럼 BoW를 적용해 행렬로 만들 수 있다. 보다시피 순서를 고려하진 않는다. 단어 개수를 센다고 봐도 무방하다. 

{'it':6, 'I':5, 'the': 4, 'to':3....}

 

파이썬에서 collection 모듈의 Counter를 사용하거나 scikit-learn에서 CountVectorizer를 통해 손쉽게 행렬을 만들 수 있다. 

 

TF-IDF

단순히 많이 등장하는 단어가 중요한 것은 아니다. 위 이미지를 보더라도 it , I , the 가 제일 많은 빈도수를 차지한다. 이런 단어들이 아닌 정말 중요한 키워드는 it , I 만큼 많이 등장하지 않을 수도 있다. 

중요도를 기반으로 분석하기 위한 알고리즘으로 TF-IDF를 사용할 수 있다. 

TF-IDF(Term Frequency-Inverse Document Frequency)는 단어빈도가 아닌 희소성에 가중치를 주어 키워드를 뽑아낸다고 할 수 있다. 

https://ko.wikipedia.org/wiki/Tf-idf

파이썬의 사이킷런에서 TfidfVectorizer 로 구하거나 직접 계산식을 구현할 수 있다. 

 

n-gram

N-gram은 문자에서 N개의 연속된 원소를 추출하는 방법으로  n수에 따라 묶어서 단어로 보는 것이다. 가까운 단어나 순서를 고려할 수 있어 단순히 단어 빈도만 분석하는 BoW를 어느정도 보완한다. 

예를 들어 "오늘 날씨는 맑지만 저녁에는 눈이 와요"를 n-gram으로 묶으면 다음과 같다. 

n	name	result
1	Unigram	오늘, 날씨는, 맑지만, 저녁에는, 눈이, 와요
2	Bigram	오늘 날씨는 ,날씨는 맑지만 ,맑지만 저녁에는,저녁에는 눈이,눈이 와요
3	Trigram	오늘 날씨는 맑지만, 날씨는 맑지만 저녁에는, 맑지만 저녁에는 눈이,  저녁에는 눈이 와요