TIL

Imports General import torch # root package from torch.utils.data import Dataset, DataLoader # dataset representation and loading Neural Network API import torch.autograd as autograd # computation graph from torch import Tensor # tensor node in the computation graph import torch.nn as nn # neural networks import torch.nn.functional as F # layers, activations and more import torch.optim as optim ..

네이버나 구글같은 포털에검색을 하면 1초도 안돼서 엄청나게 많은 검색결과가 나온다. 검색 서비스는 어떤 원리로 작동하는것일까? 검색엔진이 정보를 수집하고 저장하는 방법은 물론 각 검색 서비스마다 차이는 있겠지만 작동 방식에는 총 3가지 단계가 있다고 할수있다. 1. 크롤링 - Crawling 2. 인덱싱 - Indexing 3. 랭킹 - Ranking 1. 크롤링 네이버의 화면을 보면 배너 메일 카페 블로그 쇼핑 뉴스 증권 날씨 등등 수많은 링크들이 숨어있다. 화면의 글씨에는 클릭하면 다른 페이지로 넘어가는 링크들이 숨어있는것이다. 크롤링은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출하여 수집하는 것으로, 크롤링을 수행하면 이 모든 링크들을 다 돌아다니고 페이지 안에 있는 정보를 읽어들이게 된다. ..

분류 문제에서 항상 맞닥뜨리게 되는 문제는 아무래도 데이터 불균형이 아닐까 싶다. 한 카테고리만 너무 많거나 너무 적어 다른 카테고리와 차이가 나는 상황에서 그대로 학습시키면 데이터가 적은 카테고리에 대해서는 잘 분류가 되지 않는다. 논문을 쓸 때도 처음에는 17분류를 하고자했지만 데이터 차이가 너무 커 5가지 큰 분류로 나눴었다. 그래도 데이터 증강이 필요해서 몇가지 테스팅을 했던 기억이 난다. 아무튼 지금까지 해본 여러 시도들을 정리해보고자 한다. 자연어 처리에선 대표적으로 아래와 같은 네가지 증강 기법이 존재한다. - SR (Synonym Replacement): 특정 단어를 비슷한 의미의 유의어로 교체 - RI (Random Insertion): 임의의 단어를 삽입 - RS (Random Swap..

다음과 같은 코드 실행 !pip install konlpy from konlpy.tag import Mecab !git clone https://github.com/SOMJANG/Mecab-ko-for-Google-Colab.git %cd Mecab-ko-for-Google-Colab/ !bash install_mecab-ko_on_colab190912.sh 실행 후 마지막 줄을 보면 런타임을 재실행하라고 한다. 재실행후 위의 코드를 다시 실행하지 않고 mecab을 불러오면 된다. Successfully Installed Now you can use Mecab from konlpy.tag import Mecab mecab = Mecab() 사용자 사전 추가 방법 : https://bit.ly/3k0ZH5..

Customer Profit(CP) - 어떤 고객이 수익성이 있는지 추적하는 방법 - 고객을 관리하기 위한 B2B 광고에 종종 사용되지만 고객을 세분화하기 위해 B2C에서도 사용될 수 있다. 80/20 규칙 고객의 20%가 80%의 이익을 제공한다. 고객 수익성은 그것이 사실인지 확인하는 데 포커싱한다. 좋은 고객은 적은 노력을 필요로 하고 높은 지출을 초래하며, 좋지 않은 고객은 높은 노력과 낮은 지출을 초래함을 이해 CP Score = 일년간 한 고객으로부터 버는 수익 - 일년간 한 고객을 서포팅하는 비용 어떻게 계산할까? 1. customer cost를 정의한다(marketing cost, service, return, shipping,,,) 2. customer spend를 정의한다. (CRM으로..

셀프 어텐션 수행 대상 = 입력 시퀀스 전체 개별 단어와 전체 입력 시퀀스를 대상으로 어텐션 계산을 수행해 문맥 전체를 고려하기 때문에 지역적인 문맥만 보는 CNN과 차이가 있음 모든 경우의 수를 고려(단어들 서로가 서로를 1대 1로 바라보게 함)하기 때문에 시퀀스 길이가 길어지더라도 정보를 잊거나 왜곡할 염려가 없다는 점에서 RNN과 차이 어텐션과 셀프 어텐션 차이 어텐션은 소스 시퀀스 전체 단어들(어제, 카페, …, 많더라)과 타깃 시퀀스 단어 하나(cafe) 사이를 연결하는 데 쓰입니다. 반면 셀프 어텐션은 입력 시퀀스 전체 단어들 사이를 연결합니다. 어텐션은 RNN 구조 위에서 동작하지만 셀프 어텐션은 RNN 없이 동작합니다. 타깃 언어의 단어를 1개 생성할 때 어텐션은 1회 수행하지만 셀프어텐션..

트랜스포머의 인코더는 이같은 블록을 수십 개 쌓아서 구성한다 인코더 블록 구성요소 멀티 헤드 어텐션(Multi-Head Attention) 피드포워드 뉴럴네트워크(FeedForward) 잔차 연결 및 레이어 정규화(Add & Norm) 마스크를 적용한 멀티 헤드 어텐션(Masked Multi-Head Attention) 멀티 헤드 어텐션(Multi-Head Attention) 피드포워드 뉴럴 네트워크(FeedForward) 잔차 연결 및 레이어 정규화(Add & Norm) Self attention = Multi-Head Attention 어텐션 = 중요한 요소에 더 집중해 성능을 끌어 올리는 기법 기계번역에 어텐션 도입하면 타깃 언어를 디코딩할 때 소스 언어의 단어 시뭐스 가운데 디코딩에 도움이 되는 ..

언어 모델이란? 단어 시퀀스에 확률을 부여하는 모델 트랜스포머? 2017년 구글이 제안한 시퀀스-투-시퀀스 모델, 기계번역과 같은 시퀀스-투-시퀀스 과제를 수행한다. 시퀀스? 단어와 같은 무언가의 나열 시퀀스-투-시퀀스? 특정 속성을 지닌 시퀀스를 다른 속성의 시퀀스로 변환하는 작업 (기계 번역) 소스 언어 -> 타깃 언어로 변환 (이때 길이가 달라도 과제 수행에 문제가 없어야 함) 시퀀스-투-시퀀스 모델의 구성 인코더 : 소스 시퀀스 압축(=인코딩)하여 디코더로 보냄 디코더 : 타깃 시퀀스 생성(=디코딩) input:소스 시퀀스 전체 output : 타깃 시뭔스 일부 인코더 입력 : 어제, 카페, 갔었어, 거기, 사람, 많더라 (소스시퀀스 전체) 디코더 입력: 타깃 시퀀스의 시작을 알리는 스페셜 토큰 ..

우도 likelihood 가능도 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값 특정 사건들이 일어날 가능성‘ 또는 ‘샘플들과 확률분포의 일관된 정도 어떤 시행의 결과 (Evidence) E 가 주어졌다 할 때, 만일 주어진 가설 H 가 참이라면, 그러한 결과 E 가 나올 정도는 얼마나 되겠느냐 하는 것 즉 결과 E 가 나온 경우, 그러한 결과가 나올 수 있는 여러 가능한 가설들을 평가할 수 있는 측도가 곧 우도인 셈이다.

토큰화란? 문장을 토큰 시퀀스로 나누는 과정 토크나이저란? 토큰화 수행하는 프로그램 한국어 토크나이저 : mecab, kkma,,,,,등등 종류에 따라 품사 태깅까지 하는 경우도 있음 1. 단어(어절) 단위 토큰화 - 공백 기준으로 토큰화 ex) 아까 카페에 있었어 -> 아까, 카페에, 있었어 -- 공백으로 분리하면 별도로 토크나이저를 쓰지 않아도 된다는 장점이 있지만, 어휘 집합(vocabulary)의 크기가 매우 커질 수 있음(있어, 있었어, 있었는데요까지 모든 경우의 수가 어휘집합에 들어가야 하기 때문) 어휘 집합 크기가 커지면 그만큼 모델 학습이 어려워질 수 있음 mecab같은 경우 아까, 카페에, 있었,어 와 같이 의미있는 단위로 토큰화하기에 어휘집합크기가 지나치게 커지는 것을 막을 수는 있음 ..