TIL

트랜스포머의 인코더는 이같은 블록을 수십 개 쌓아서 구성한다 인코더 블록 구성요소 멀티 헤드 어텐션(Multi-Head Attention) 피드포워드 뉴럴네트워크(FeedForward) 잔차 연결 및 레이어 정규화(Add & Norm) 마스크를 적용한 멀티 헤드 어텐션(Masked Multi-Head Attention) 멀티 헤드 어텐션(Multi-Head Attention) 피드포워드 뉴럴 네트워크(FeedForward) 잔차 연결 및 레이어 정규화(Add & Norm) Self attention = Multi-Head Attention 어텐션 = 중요한 요소에 더 집중해 성능을 끌어 올리는 기법 기계번역에 어텐션 도입하면 타깃 언어를 디코딩할 때 소스 언어의 단어 시뭐스 가운데 디코딩에 도움이 되는 ..

언어 모델이란? 단어 시퀀스에 확률을 부여하는 모델 트랜스포머? 2017년 구글이 제안한 시퀀스-투-시퀀스 모델, 기계번역과 같은 시퀀스-투-시퀀스 과제를 수행한다. 시퀀스? 단어와 같은 무언가의 나열 시퀀스-투-시퀀스? 특정 속성을 지닌 시퀀스를 다른 속성의 시퀀스로 변환하는 작업 (기계 번역) 소스 언어 -> 타깃 언어로 변환 (이때 길이가 달라도 과제 수행에 문제가 없어야 함) 시퀀스-투-시퀀스 모델의 구성 인코더 : 소스 시퀀스 압축(=인코딩)하여 디코더로 보냄 디코더 : 타깃 시퀀스 생성(=디코딩) input:소스 시퀀스 전체 output : 타깃 시뭔스 일부 인코더 입력 : 어제, 카페, 갔었어, 거기, 사람, 많더라 (소스시퀀스 전체) 디코더 입력: 타깃 시퀀스의 시작을 알리는 스페셜 토큰 ..

우도 likelihood 가능도 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값 특정 사건들이 일어날 가능성‘ 또는 ‘샘플들과 확률분포의 일관된 정도 어떤 시행의 결과 (Evidence) E 가 주어졌다 할 때, 만일 주어진 가설 H 가 참이라면, 그러한 결과 E 가 나올 정도는 얼마나 되겠느냐 하는 것 즉 결과 E 가 나온 경우, 그러한 결과가 나올 수 있는 여러 가능한 가설들을 평가할 수 있는 측도가 곧 우도인 셈이다.

토큰화란? 문장을 토큰 시퀀스로 나누는 과정 토크나이저란? 토큰화 수행하는 프로그램 한국어 토크나이저 : mecab, kkma,,,,,등등 종류에 따라 품사 태깅까지 하는 경우도 있음 1. 단어(어절) 단위 토큰화 - 공백 기준으로 토큰화 ex) 아까 카페에 있었어 -> 아까, 카페에, 있었어 -- 공백으로 분리하면 별도로 토크나이저를 쓰지 않아도 된다는 장점이 있지만, 어휘 집합(vocabulary)의 크기가 매우 커질 수 있음(있어, 있었어, 있었는데요까지 모든 경우의 수가 어휘집합에 들어가야 하기 때문) 어휘 집합 크기가 커지면 그만큼 모델 학습이 어려워질 수 있음 mecab같은 경우 아까, 카페에, 있었,어 와 같이 의미있는 단위로 토큰화하기에 어휘집합크기가 지나치게 커지는 것을 막을 수는 있음 ..

기계가 사람말을 알아듣게 하려면 모델이 있어야 함 입력(자연어) --------------> 모델(함수) -----------> 출력(확률값: 0~1사이) NLP모델 : 자연어를 입력받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수이다. 출력된 확률을 post processing(후처리)해서 자연어로 다시 바꿈 가장 인기있는 모델 - 딥러닝(많은 은닉층 사용) ex) GPT, BERT,,, 딥러닝 모델의 학습 학습 데이터에 레이블이 있어야 함 ex) 감성분석의 경우 - 긍정1 중립0 부정0 모델이 스스로 패턴을 익힐 수 있도록 train(학습) train : 출력이 정답에 가까워지도록 모델을 업데이트하는 과정 Transfer learning 전이 학습 : 특정 테스크를 학습한 모델을 다른 테스크 ..