TIL

셀프 어텐션 수행 대상 = 입력 시퀀스 전체 개별 단어와 전체 입력 시퀀스를 대상으로 어텐션 계산을 수행해 문맥 전체를 고려하기 때문에 지역적인 문맥만 보는 CNN과 차이가 있음 모든 경우의 수를 고려(단어들 서로가 서로를 1대 1로 바라보게 함)하기 때문에 시퀀스 길이가 길어지더라도 정보를 잊거나 왜곡할 염려가 없다는 점에서 RNN과 차이 어텐션과 셀프 어텐션 차이 어텐션은 소스 시퀀스 전체 단어들(어제, 카페, …, 많더라)과 타깃 시퀀스 단어 하나(cafe) 사이를 연결하는 데 쓰입니다. 반면 셀프 어텐션은 입력 시퀀스 전체 단어들 사이를 연결합니다. 어텐션은 RNN 구조 위에서 동작하지만 셀프 어텐션은 RNN 없이 동작합니다. 타깃 언어의 단어를 1개 생성할 때 어텐션은 1회 수행하지만 셀프어텐션..

트랜스포머의 인코더는 이같은 블록을 수십 개 쌓아서 구성한다 인코더 블록 구성요소 멀티 헤드 어텐션(Multi-Head Attention) 피드포워드 뉴럴네트워크(FeedForward) 잔차 연결 및 레이어 정규화(Add & Norm) 마스크를 적용한 멀티 헤드 어텐션(Masked Multi-Head Attention) 멀티 헤드 어텐션(Multi-Head Attention) 피드포워드 뉴럴 네트워크(FeedForward) 잔차 연결 및 레이어 정규화(Add & Norm) Self attention = Multi-Head Attention 어텐션 = 중요한 요소에 더 집중해 성능을 끌어 올리는 기법 기계번역에 어텐션 도입하면 타깃 언어를 디코딩할 때 소스 언어의 단어 시뭐스 가운데 디코딩에 도움이 되는 ..

언어 모델이란? 단어 시퀀스에 확률을 부여하는 모델 트랜스포머? 2017년 구글이 제안한 시퀀스-투-시퀀스 모델, 기계번역과 같은 시퀀스-투-시퀀스 과제를 수행한다. 시퀀스? 단어와 같은 무언가의 나열 시퀀스-투-시퀀스? 특정 속성을 지닌 시퀀스를 다른 속성의 시퀀스로 변환하는 작업 (기계 번역) 소스 언어 -> 타깃 언어로 변환 (이때 길이가 달라도 과제 수행에 문제가 없어야 함) 시퀀스-투-시퀀스 모델의 구성 인코더 : 소스 시퀀스 압축(=인코딩)하여 디코더로 보냄 디코더 : 타깃 시퀀스 생성(=디코딩) input:소스 시퀀스 전체 output : 타깃 시뭔스 일부 인코더 입력 : 어제, 카페, 갔었어, 거기, 사람, 많더라 (소스시퀀스 전체) 디코더 입력: 타깃 시퀀스의 시작을 알리는 스페셜 토큰 ..

우도 likelihood 가능도 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값 특정 사건들이 일어날 가능성‘ 또는 ‘샘플들과 확률분포의 일관된 정도 어떤 시행의 결과 (Evidence) E 가 주어졌다 할 때, 만일 주어진 가설 H 가 참이라면, 그러한 결과 E 가 나올 정도는 얼마나 되겠느냐 하는 것 즉 결과 E 가 나온 경우, 그러한 결과가 나올 수 있는 여러 가능한 가설들을 평가할 수 있는 측도가 곧 우도인 셈이다.

토큰화란? 문장을 토큰 시퀀스로 나누는 과정 토크나이저란? 토큰화 수행하는 프로그램 한국어 토크나이저 : mecab, kkma,,,,,등등 종류에 따라 품사 태깅까지 하는 경우도 있음 1. 단어(어절) 단위 토큰화 - 공백 기준으로 토큰화 ex) 아까 카페에 있었어 -> 아까, 카페에, 있었어 -- 공백으로 분리하면 별도로 토크나이저를 쓰지 않아도 된다는 장점이 있지만, 어휘 집합(vocabulary)의 크기가 매우 커질 수 있음(있어, 있었어, 있었는데요까지 모든 경우의 수가 어휘집합에 들어가야 하기 때문) 어휘 집합 크기가 커지면 그만큼 모델 학습이 어려워질 수 있음 mecab같은 경우 아까, 카페에, 있었,어 와 같이 의미있는 단위로 토큰화하기에 어휘집합크기가 지나치게 커지는 것을 막을 수는 있음 ..

기계가 사람말을 알아듣게 하려면 모델이 있어야 함 입력(자연어) --------------> 모델(함수) -----------> 출력(확률값: 0~1사이) NLP모델 : 자연어를 입력받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수이다. 출력된 확률을 post processing(후처리)해서 자연어로 다시 바꿈 가장 인기있는 모델 - 딥러닝(많은 은닉층 사용) ex) GPT, BERT,,, 딥러닝 모델의 학습 학습 데이터에 레이블이 있어야 함 ex) 감성분석의 경우 - 긍정1 중립0 부정0 모델이 스스로 패턴을 익힐 수 있도록 train(학습) train : 출력이 정답에 가까워지도록 모델을 업데이트하는 과정 Transfer learning 전이 학습 : 특정 테스크를 학습한 모델을 다른 테스크 ..

원핫인코딩 - 숫자가 아닌 범주형 특징을 숫자형으로 표현하는 방법 - 예를 들어, [0-9]의 d값을 갖는 범주형 숫자는 d번째 위치만 1로 하고 나머지는 항상 0값을 갖는 벡터로 인코딩할 수 있다. - 학습 알고리즘이 수치형 함수를 처리하게 작성됐을 때 데이터마이닝에서 사용한다. 소프트맥스 - 임의의 실수 값을 갖는 k차원의 벡터를 (0,1)사이의 실수 값으로 축소한다. 모델을 정의한 다음, 모델을 텐서플로에서 실행할 수 있도록 컴파일해야한다. 컴파일 과정에서의 선택사항 : - 옵티마이저(모델 학습할 때 가중치 업데이트 알고리즘) - 최적화하는데 사용할 목적함수 지정 - 학습한 모델 평가 목적함수 MSE - 예측 값과 실제 값 차이의 평균 제곱 오차 이진 크로스엔트로피 - 이진로그손실. 이진 레이블 예..

신경망은 포유류의 신경계에서 영감을 받은 머신러닝 모델의 한 종류 각 신경망은 서로 연결된 뉴런들로 구성되어 있으며, 특정상태가 되면 메세지를 교환하는 계층(layer)로 구성된다. 초기 연구는 1950년대 후반 퍼셉트론에서 시작했다. 퍼셉트론은 두 계층으로 간단한 연산에 사용했고, 1960년대 후반에 역전파 알고리즘의 소개로 다층신경망학습이 가능해지면서 확장됐다. 이러한 개선의 역사는 많은 수의 뉴런 계층을 갖는 신경망 종류인 딥러닝을 위한 발판이 됐다. 케라스Keras - 딥러닝 계산을 위한 작고 효율적인 파이썬 라이브러리 퍼셉트론 퍼셉트론은 n개의 크기를 갖는 입력 벡터(x1,x2,,,,,xn)가 주어지면 예(1)이나 아니오(0)을 출력하는 간단한 알고리즘 f(x) = 1 : wx+b>0 0 : o..

기계학습의 유형 - 지도학습, 비지도학습, 강화학습 지도학습 feature와 정답label 이 있는 데이터 학습시키고 새로운데이터(test)로 예측하는 것 입력 데이터와 결과값이용해 특정 TARGET 예측하는 것 연속값이면 회귀 분류 - 스팸 식별, 회귀 - 시계열적인 변화 지도학습 알고리즘의 유형 의사결정트리 ,KNN,,,, 비지도학습 군집 주성분분석 강화학습 데이터마이닝 = 통계적 분석 - 데이터 탐색하고 모델을 구축하는데 주안점 기계학습과 통계적 분석(데이터마이닝)의 차이점 특징 ; 정확한 예측에 집중 | 사람들의 선택 이유 분석 내년에 병원에 갈 사람의 숫자 예측 | 사람들이 병원에 가는 이유 분석 기계학습의 학습결과는 매개변수 혹릉 가중값의 형태로 나타남 기계학습이란? 입력값에 대응하는 결과값이..

행 단위 데이터 추출하기 loc 인덱스 기준으로 행 데이터 추출 iloc 행 번호 기준으로 행 데이터 추출 loc[인덱스번호] : -1같은 값 넣으면 오류 print(df.loc[0]) print(df.loc[[0,99,999]]) 한번에 여러 행 추출 데이터프레임의 마지막 행 추출하기 마지막 행 데이터의 인덱스를 알아야 한다. 1. shape[0]에 행 크기 (1704)가 저장되어있음. number_of_rows=df.shape[0] last_row_index= number_of_rows -1 print(df.loc[last_row_index]) 실행 결과 country Zimbabwe continent Africa year 2007 lifeExp 43.487 pop 12311143 gdpPercap ..