TIL

힙은 이진트리의 한 종류로, 값이 최대 혹은 최소 노드에 빠르게 접근해야 할 때 사용한다. 힙 자료구조를 설계하는 방법에는 2가지, max heap(최대힙)과 min heap(최소 힙)이 있다. 최대힙은 루트 노드가 힙에서 가장 크고, 노드의 각 값은 부모노드보다 작거나 같다 최소힙은 루트 노드가 힙에서 가장 작고, 노드의 각 값은 부모노드보다 크거나 같다

이진트리 - 가장 많이 사용되는 데이터 구조, 각 부모노드가 항상 최대 2개의 자식노드와 붙어 있음 이진 탐색 트리 : 이진 트리의 가장 일반적인 유형, 노드의 key 기준으로 정렬한 상태 - 정렬 기준 1. 노드의 왼쪽 서브트리에는 노드의 키보다 작은 키를 가진 노드만! 2. 노드의 오른쪽 서브트리는 노드의 키보다 큰 키를 가진 노드만! 3. 좌우 서브 트리도 각각 이진 탐색 트리 4. 각 노드에 중복 키(key)는 없음! 그래서.. 가장 큰 키를 가진 노드는 가장 오른쪽 서브트리 말단(80) 가장 작은 키를 가진 노드는 가장 왼쪽 서브트리 말단(1) 이진탐색트리로 할 수 있는 동작은 1. 트리에 노드 추가 2. 노드 삭제 3. 노트 선택해 탐색하는 키가 존재하는지 확인

자료구조는 선형 자료구조와 비선형 자료구조로 나뉜다. 선형자료구조와 비선형 자료구조는 무엇일까? 선형 자료구조란 하나의 자료 뒤에 하나의 자료가 존재,즉 순차적으로 이어진 형태를 생각하면 된다. 1:1의 선형관계를 이루고 있다 비선형 자료구조란 하나/여러 개의 자료 뒤에 여러 개의 자료가 존재하는 형태로, 1:n, 또는 n:n 의 관계를 생각하면 된다.(주로 계층 형태)

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 이전 글과 이어지는 내용입니다. - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBERT fine-tuning은 사전학습된 문장의 문맥 정보 등을 고려한 weight 값을 가지고, 사전훈련된 BERT의 파라미터를 그대로 가져와 문서분류, 개체명인식과 같은 과제에 적용 할 수 있도록 모델을 업데이트하는 과정입니다. fine-tuning은 pre-tr..

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 이전 글과 이어지는 내용입니다. - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBert BERT는 문맥을 반영한 임베딩(Conatextual Embedding)을 가능하게 해주는 범용 언어 표현 모델입니다. BERT는 크게 pre-training(사전 학습), fine-tuning(미세 조정) 두 단계로 나눌 수 있습니다. Pre-training..

#스스로 공부하고 만든 내용입니다. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805 (원문) 자연어처리에서 가장 기본이 되고 중요한 논문 중 하나인 버트 논문입니다. 원문을 바탕으로 설명하였으며, 이해를 돕기 위한 몇 가지 한국어 예시를 리서치하여 넣었습니다! 아마 5부분으로 나누어 설명할 것 같습니다! - Introduction & Related Works - Pre-training - Fine-tuning - Experiment - Conclusion + koBert BERT는 구글에서 개발한 NLP 사전 훈련 모델로, 특정 분야에 국한된 기술이..

1. homebrew 설치 - 터미널에 복붙하면 산단한 설치가 가능하다.(패스워드는 맥북 비밀번호) https://brew.sh/index_ko Homebrew The Missing Package Manager for macOS (or Linux). brew.sh 2. git 설치 터미널에서 brew install git brew install git 설치가 완료되면, --git version 으로 설치가 완료되었는지 확인 가능하다. --git version 3.터미널에서 cd로 업로드할 파일이 있는 위치로 이동 후, git init git init 4. git add 으로 특정파일 추가(예) git add README.md 5. 커밋 메시지 작성 git commit -m "내용" 6. remote 등록..

기업의 테크블로그는 기업의 특별한 조직문화, 기술 개선 과정등이 작성되어있다. 시간날때마다 틈틈이 읽을 예정! SSG https://medium.com/ssgtech SSG TECH BLOG – Medium 오고 싶은 회사, 쓰고 싶은 서비스는 좋은 기술 및 조직 문화에서 생긴다고 믿습니다. SSG의 다양한 기술 및 조직 문화를 소개합니다. medium.com 네이버d2 https://d2.naver.com/home 라인 https://engineering.linecorp.com/ko/blog/ Blog - LINE ENGINEERING 2022-LINE-engineering-site engineering.linecorp.com 리디 https://www.ridicorp.com/story-category..

for : 이론만 공부한 데이터분석 초보자, 타이타닉을 어려워하는 사람, 한번도 타이타닉을 끝까지 해본 적 없는 사람, 캐글을 처음 시작하는 사람 추천 : 85% 데이터 분석 공부를 시작할 때, 가장 먼저 하는 프로젝트는 캐글의 타이타닉과 아이리스(붓꽃), 주택 가격 에측 프로젝트가 아닐까 싶다. 그치만 초보자에게는 막상 해보라하면 잘하지 못하는 경우가 대다수이다. 그만큼 처음 시작하는 사람들에게는 어렵고, 캐글에 있는 코드들을 본다 한들 한번에 이해를 못하는 모습을 많이 봐왔다. 이것 때문에 데이터 분석을 어려워하고, 피하게 되고, 포기하게 되는 것 같다. 이 책은 데이터분석을 공부하지만, 타이타닉에서 좌절을 맞본 초보자들 다시 도전할 수 있게 해주는 책이랄까 친절하게 타이타닉, 주택 가격 예측 두 프..

맥북에서 주피터 노트북을 실행하기 위해서는 아나콘다 설치가 필요하다. https://www.anaconda.com/products/distribution Anaconda | Anaconda Distribution Anaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com 에서 다운로드 진행 후 설치해준다. You cannot install Anaconda in this location 에러가 발생하더라도 Install for me only 옵션을 선택 후 설치하면 해결된다. 설치가 완료된 후 Anacon..

셀프 어텐션 수행 대상 = 입력 시퀀스 전체 개별 단어와 전체 입력 시퀀스를 대상으로 어텐션 계산을 수행해 문맥 전체를 고려하기 때문에 지역적인 문맥만 보는 CNN과 차이가 있음 모든 경우의 수를 고려(단어들 서로가 서로를 1대 1로 바라보게 함)하기 때문에 시퀀스 길이가 길어지더라도 정보를 잊거나 왜곡할 염려가 없다는 점에서 RNN과 차이 어텐션과 셀프 어텐션 차이 어텐션은 소스 시퀀스 전체 단어들(어제, 카페, …, 많더라)과 타깃 시퀀스 단어 하나(cafe) 사이를 연결하는 데 쓰입니다. 반면 셀프 어텐션은 입력 시퀀스 전체 단어들 사이를 연결합니다. 어텐션은 RNN 구조 위에서 동작하지만 셀프 어텐션은 RNN 없이 동작합니다. 타깃 언어의 단어를 1개 생성할 때 어텐션은 1회 수행하지만 셀프어텐션..

트랜스포머의 인코더는 이같은 블록을 수십 개 쌓아서 구성한다 인코더 블록 구성요소 멀티 헤드 어텐션(Multi-Head Attention) 피드포워드 뉴럴네트워크(FeedForward) 잔차 연결 및 레이어 정규화(Add & Norm) 마스크를 적용한 멀티 헤드 어텐션(Masked Multi-Head Attention) 멀티 헤드 어텐션(Multi-Head Attention) 피드포워드 뉴럴 네트워크(FeedForward) 잔차 연결 및 레이어 정규화(Add & Norm) Self attention = Multi-Head Attention 어텐션 = 중요한 요소에 더 집중해 성능을 끌어 올리는 기법 기계번역에 어텐션 도입하면 타깃 언어를 디코딩할 때 소스 언어의 단어 시뭐스 가운데 디코딩에 도움이 되는 ..

언어 모델이란? 단어 시퀀스에 확률을 부여하는 모델 트랜스포머? 2017년 구글이 제안한 시퀀스-투-시퀀스 모델, 기계번역과 같은 시퀀스-투-시퀀스 과제를 수행한다. 시퀀스? 단어와 같은 무언가의 나열 시퀀스-투-시퀀스? 특정 속성을 지닌 시퀀스를 다른 속성의 시퀀스로 변환하는 작업 (기계 번역) 소스 언어 -> 타깃 언어로 변환 (이때 길이가 달라도 과제 수행에 문제가 없어야 함) 시퀀스-투-시퀀스 모델의 구성 인코더 : 소스 시퀀스 압축(=인코딩)하여 디코더로 보냄 디코더 : 타깃 시퀀스 생성(=디코딩) input:소스 시퀀스 전체 output : 타깃 시뭔스 일부 인코더 입력 : 어제, 카페, 갔었어, 거기, 사람, 많더라 (소스시퀀스 전체) 디코더 입력: 타깃 시퀀스의 시작을 알리는 스페셜 토큰 ..

우도 likelihood 가능도 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값 특정 사건들이 일어날 가능성‘ 또는 ‘샘플들과 확률분포의 일관된 정도 어떤 시행의 결과 (Evidence) E 가 주어졌다 할 때, 만일 주어진 가설 H 가 참이라면, 그러한 결과 E 가 나올 정도는 얼마나 되겠느냐 하는 것 즉 결과 E 가 나온 경우, 그러한 결과가 나올 수 있는 여러 가능한 가설들을 평가할 수 있는 측도가 곧 우도인 셈이다.

토큰화란? 문장을 토큰 시퀀스로 나누는 과정 토크나이저란? 토큰화 수행하는 프로그램 한국어 토크나이저 : mecab, kkma,,,,,등등 종류에 따라 품사 태깅까지 하는 경우도 있음 1. 단어(어절) 단위 토큰화 - 공백 기준으로 토큰화 ex) 아까 카페에 있었어 -> 아까, 카페에, 있었어 -- 공백으로 분리하면 별도로 토크나이저를 쓰지 않아도 된다는 장점이 있지만, 어휘 집합(vocabulary)의 크기가 매우 커질 수 있음(있어, 있었어, 있었는데요까지 모든 경우의 수가 어휘집합에 들어가야 하기 때문) 어휘 집합 크기가 커지면 그만큼 모델 학습이 어려워질 수 있음 mecab같은 경우 아까, 카페에, 있었,어 와 같이 의미있는 단위로 토큰화하기에 어휘집합크기가 지나치게 커지는 것을 막을 수는 있음 ..

기계가 사람말을 알아듣게 하려면 모델이 있어야 함 입력(자연어) --------------> 모델(함수) -----------> 출력(확률값: 0~1사이) NLP모델 : 자연어를 입력받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수이다. 출력된 확률을 post processing(후처리)해서 자연어로 다시 바꿈 가장 인기있는 모델 - 딥러닝(많은 은닉층 사용) ex) GPT, BERT,,, 딥러닝 모델의 학습 학습 데이터에 레이블이 있어야 함 ex) 감성분석의 경우 - 긍정1 중립0 부정0 모델이 스스로 패턴을 익힐 수 있도록 train(학습) train : 출력이 정답에 가까워지도록 모델을 업데이트하는 과정 Transfer learning 전이 학습 : 특정 테스크를 학습한 모델을 다른 테스크 ..

원핫인코딩 - 숫자가 아닌 범주형 특징을 숫자형으로 표현하는 방법 - 예를 들어, [0-9]의 d값을 갖는 범주형 숫자는 d번째 위치만 1로 하고 나머지는 항상 0값을 갖는 벡터로 인코딩할 수 있다. - 학습 알고리즘이 수치형 함수를 처리하게 작성됐을 때 데이터마이닝에서 사용한다. 소프트맥스 - 임의의 실수 값을 갖는 k차원의 벡터를 (0,1)사이의 실수 값으로 축소한다. 모델을 정의한 다음, 모델을 텐서플로에서 실행할 수 있도록 컴파일해야한다. 컴파일 과정에서의 선택사항 : - 옵티마이저(모델 학습할 때 가중치 업데이트 알고리즘) - 최적화하는데 사용할 목적함수 지정 - 학습한 모델 평가 목적함수 MSE - 예측 값과 실제 값 차이의 평균 제곱 오차 이진 크로스엔트로피 - 이진로그손실. 이진 레이블 예..

신경망은 포유류의 신경계에서 영감을 받은 머신러닝 모델의 한 종류 각 신경망은 서로 연결된 뉴런들로 구성되어 있으며, 특정상태가 되면 메세지를 교환하는 계층(layer)로 구성된다. 초기 연구는 1950년대 후반 퍼셉트론에서 시작했다. 퍼셉트론은 두 계층으로 간단한 연산에 사용했고, 1960년대 후반에 역전파 알고리즘의 소개로 다층신경망학습이 가능해지면서 확장됐다. 이러한 개선의 역사는 많은 수의 뉴런 계층을 갖는 신경망 종류인 딥러닝을 위한 발판이 됐다. 케라스Keras - 딥러닝 계산을 위한 작고 효율적인 파이썬 라이브러리 퍼셉트론 퍼셉트론은 n개의 크기를 갖는 입력 벡터(x1,x2,,,,,xn)가 주어지면 예(1)이나 아니오(0)을 출력하는 간단한 알고리즘 f(x) = 1 : wx+b>0 0 : o..

기계학습의 유형 - 지도학습, 비지도학습, 강화학습 지도학습 feature와 정답label 이 있는 데이터 학습시키고 새로운데이터(test)로 예측하는 것 입력 데이터와 결과값이용해 특정 TARGET 예측하는 것 연속값이면 회귀 분류 - 스팸 식별, 회귀 - 시계열적인 변화 지도학습 알고리즘의 유형 의사결정트리 ,KNN,,,, 비지도학습 군집 주성분분석 강화학습 데이터마이닝 = 통계적 분석 - 데이터 탐색하고 모델을 구축하는데 주안점 기계학습과 통계적 분석(데이터마이닝)의 차이점 특징 ; 정확한 예측에 집중 | 사람들의 선택 이유 분석 내년에 병원에 갈 사람의 숫자 예측 | 사람들이 병원에 가는 이유 분석 기계학습의 학습결과는 매개변수 혹릉 가중값의 형태로 나타남 기계학습이란? 입력값에 대응하는 결과값이..

행 단위 데이터 추출하기 loc 인덱스 기준으로 행 데이터 추출 iloc 행 번호 기준으로 행 데이터 추출 loc[인덱스번호] : -1같은 값 넣으면 오류 print(df.loc[0]) print(df.loc[[0,99,999]]) 한번에 여러 행 추출 데이터프레임의 마지막 행 추출하기 마지막 행 데이터의 인덱스를 알아야 한다. 1. shape[0]에 행 크기 (1704)가 저장되어있음. number_of_rows=df.shape[0] last_row_index= number_of_rows -1 print(df.loc[last_row_index]) 실행 결과 country Zimbabwe continent Africa year 2007 lifeExp 43.487 pop 12311143 gdpPercap ..