TIL

Bag-of-words(BoW) is a statistical language model used to analyze text and documents based on word count. BoW는 단어의 빈도수를 기반으로 한다. BoW가정을 기반으로 한 워드 임베딩은 문장 내 단어 등장 순서를 고려하지 않는다. 위 이미지 처럼 BoW를 적용해 행렬로 만들 수 있다. 보다시피 순서를 고려하진 않는다. 단어 개수를 센다고 봐도 무방하다. {'it':6, 'I':5, 'the': 4, 'to':3....} 파이썬에서 collection 모듈의 Counter를 사용하거나 scikit-learn에서 CountVectorizer를 통해 손쉽게 행렬을 만들 수 있다. TF-IDF 단순히 많이 등장하는 단어가 중요한..

Imports General import torch # root package from torch.utils.data import Dataset, DataLoader # dataset representation and loading Neural Network API import torch.autograd as autograd # computation graph from torch import Tensor # tensor node in the computation graph import torch.nn as nn # neural networks import torch.nn.functional as F # layers, activations and more import torch.optim as optim ..

네이버나 구글같은 포털에검색을 하면 1초도 안돼서 엄청나게 많은 검색결과가 나온다. 검색 서비스는 어떤 원리로 작동하는것일까? 검색엔진이 정보를 수집하고 저장하는 방법은 물론 각 검색 서비스마다 차이는 있겠지만 작동 방식에는 총 3가지 단계가 있다고 할수있다. 1. 크롤링 - Crawling 2. 인덱싱 - Indexing 3. 랭킹 - Ranking 1. 크롤링 네이버의 화면을 보면 배너 메일 카페 블로그 쇼핑 뉴스 증권 날씨 등등 수많은 링크들이 숨어있다. 화면의 글씨에는 클릭하면 다른 페이지로 넘어가는 링크들이 숨어있는것이다. 크롤링은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출하여 수집하는 것으로, 크롤링을 수행하면 이 모든 링크들을 다 돌아다니고 페이지 안에 있는 정보를 읽어들이게 된다. ..

분류 문제에서 항상 맞닥뜨리게 되는 문제는 아무래도 데이터 불균형이 아닐까 싶다. 한 카테고리만 너무 많거나 너무 적어 다른 카테고리와 차이가 나는 상황에서 그대로 학습시키면 데이터가 적은 카테고리에 대해서는 잘 분류가 되지 않는다. 논문을 쓸 때도 처음에는 17분류를 하고자했지만 데이터 차이가 너무 커 5가지 큰 분류로 나눴었다. 그래도 데이터 증강이 필요해서 몇가지 테스팅을 했던 기억이 난다. 아무튼 지금까지 해본 여러 시도들을 정리해보고자 한다. 자연어 처리에선 대표적으로 아래와 같은 네가지 증강 기법이 존재한다. - SR (Synonym Replacement): 특정 단어를 비슷한 의미의 유의어로 교체 - RI (Random Insertion): 임의의 단어를 삽입 - RS (Random Swap..

다음과 같은 코드 실행 !pip install konlpy from konlpy.tag import Mecab !git clone https://github.com/SOMJANG/Mecab-ko-for-Google-Colab.git %cd Mecab-ko-for-Google-Colab/ !bash install_mecab-ko_on_colab190912.sh 실행 후 마지막 줄을 보면 런타임을 재실행하라고 한다. 재실행후 위의 코드를 다시 실행하지 않고 mecab을 불러오면 된다. Successfully Installed Now you can use Mecab from konlpy.tag import Mecab mecab = Mecab() 사용자 사전 추가 방법 : https://bit.ly/3k0ZH5..

Customer Profit(CP) - 어떤 고객이 수익성이 있는지 추적하는 방법 - 고객을 관리하기 위한 B2B 광고에 종종 사용되지만 고객을 세분화하기 위해 B2C에서도 사용될 수 있다. 80/20 규칙 고객의 20%가 80%의 이익을 제공한다. 고객 수익성은 그것이 사실인지 확인하는 데 포커싱한다. 좋은 고객은 적은 노력을 필요로 하고 높은 지출을 초래하며, 좋지 않은 고객은 높은 노력과 낮은 지출을 초래함을 이해 CP Score = 일년간 한 고객으로부터 버는 수익 - 일년간 한 고객을 서포팅하는 비용 어떻게 계산할까? 1. customer cost를 정의한다(marketing cost, service, return, shipping,,,) 2. customer spend를 정의한다. (CRM으로..

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 이전 글과 이어지는 내용입니다. - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBERT fine-tuning은 사전학습된 문장의 문맥 정보 등을 고려한 weight 값을 가지고, 사전훈련된 BERT의 파라미터를 그대로 가져와 문서분류, 개체명인식과 같은 과제에 적용 할 수 있도록 모델을 업데이트하는 과정입니다. fine-tuning은 pre-tr..

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 이전 글과 이어지는 내용입니다. - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBert BERT는 문맥을 반영한 임베딩(Conatextual Embedding)을 가능하게 해주는 범용 언어 표현 모델입니다. BERT는 크게 pre-training(사전 학습), fine-tuning(미세 조정) 두 단계로 나눌 수 있습니다. Pre-training..

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 자연어처리에서 가장 기본이 되고 중요한 논문 중 하나인 버트 논문입니다. 원문을 바탕으로 설명하였으며, 이해를 돕기 위한 몇 가지 한국어 예시를 리서치하여 넣었습니다! 아마 5부분으로 나누어 설명할 것 같습니다! - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBert BERT는 구글에서 개발한 NLP 사전 훈련 모델로, 특정 분야에 국한된 기술이..

셀프 어텐션 수행 대상 = 입력 시퀀스 전체 개별 단어와 전체 입력 시퀀스를 대상으로 어텐션 계산을 수행해 문맥 전체를 고려하기 때문에 지역적인 문맥만 보는 CNN과 차이가 있음 모든 경우의 수를 고려(단어들 서로가 서로를 1대 1로 바라보게 함)하기 때문에 시퀀스 길이가 길어지더라도 정보를 잊거나 왜곡할 염려가 없다는 점에서 RNN과 차이 어텐션과 셀프 어텐션 차이 어텐션은 소스 시퀀스 전체 단어들(어제, 카페, …, 많더라)과 타깃 시퀀스 단어 하나(cafe) 사이를 연결하는 데 쓰입니다. 반면 셀프 어텐션은 입력 시퀀스 전체 단어들 사이를 연결합니다. 어텐션은 RNN 구조 위에서 동작하지만 셀프 어텐션은 RNN 없이 동작합니다. 타깃 언어의 단어를 1개 생성할 때 어텐션은 1회 수행하지만 셀프어텐션..