TIL

github에서 계정 토큰 발행 $ git init $ git remote add origin [원격저장소 주소] - [원격저장소 주소] 는 code에서 나오는 https://~~~git //브랜치 이름 바꾸기 $ git branch -m master main //파일 업로드 - add → commit → push 순서 //원격 저장소의 파일 가져오기 $ git pull (또는 git pull origin [브랜치 이름]) main //모든 변경사항을 올리는 경우 $ git add . //특정한 파일만 올리는 경우 $ git add [파일/디렉토리] $ git commit -m "commit message" $ git push (또는 git push origin [브랜치 이름]) //추가적인 명령어 //..

[문제] paragraph에서 대소문자, 쉼표 구두점등을 무시하고, banned 단어에 포함되지 않은 단어 중 가장 많이 등장한 단어 반환 Example 1: Input: paragraph = "Bob hit a ball, the hit BALL flew far after it was hit.", banned = ["hit"] Output: "ball" Explanation: "hit" occurs 3 times, but it is a banned word. "ball" occurs twice (and no other word does), so it is the most frequent non-banned word in the paragraph. Note that words in the paragraph..

간단한 긍부정 이진 분류 모델을 만들었다. 전체코드는 깃헙에서 볼 수 있다! https://github.com/Juyoung-b/Improving-the-Performance-of-Sentiment-Classification GitHub - Juyoung-b/Improving-the-Performance-of-Sentiment-Classification Contribute to Juyoung-b/Improving-the-Performance-of-Sentiment-Classification development by creating an account on GitHub. github.com 영어로 된 레스토랑 리뷰를 가지고, 긍정(1), 부정(0)으로 분류하는 간단한 task 모델이다. 이번 프로젝트에선..

Einstein summation convention 을 사용하면, 행렬의 곱셈을 조금 더 단순하게 표현할 수 있다. 아인슈타인 표기법 또는 아인슈타인의 합 규약(Einstein summation convention) 은 선형대수학을 물리학에 응용하면서 좌표계에 관한 공식을 다룰 때 유용한 표기 규칙이다. 알베르트 아인슈타인이 이 표기법을 1916년에 처음 소개하였다. 출처 : 위키백과 다음과 같은 행렬의 곱셈에서 *a11에서 왼쪽 1은 행, 오른쪽1은 열을 나타내는 숫자이다) 행렬 A와 행렬 B를 곱한 AB에서 AB23의 계산은 다음과 같다. AB23 = a21b13 + a22b23+...+ a2nbn3 이를 공식화하면, 이렇게 되고, Einstein summation convention을 사용하여 표..

코랩 프로 플러스를 구독한지 2주 정도 지났다. 가격은 49.99달러 한화로 약 64850원 정도를 결제했다. 써보고 남들에게 추천하는가?를 물어본다면 no라고 말하고 싶다..... 물론 프로젝트 크기에 따라 다르지만 코랩 구독은 프로/ 프로플러스 2가지가 있다. 나는 8월에는 프로를, 1월부터는 플러스를 구독해서 쓰고 있다. 일단 프로와 프로플러스의 속도 체감은 있다. 확실히 더 빠르고 메모리도 크다. 그치만...... 언제부터인가 조건으로 computer unit을 코랩프로는 한달에 100, 프로플러스는 500 을 준다는 것이 추가되었다....... 프로플러스여도 다양한 조건에서 에포크를 높게 해서 돌리면 한 이틀 삼일이면 다 쓰는 양이다.... 내가 지금 그렇다..... 몇 번 실험을 진행하다가 갑..

자연어처리에서 다운스트림 태스크 중 예를 들면 분류하는 문제에서, 모델을 학습시킬 때 train 과 validation 으로 먼저 성능을 채점한 후,레이블이 없는 새로운 인풋으로 test셋을 넣어 예측된 레이블 값을 얻는다. train 과 validation을 하는 과정에서, train을 하기전 model.train() 으로 train상태로 만들어주고, train이 끝나면 model.eval()로 스위칭하여 검증을 하고 다시 train- eval 하는 식으로 에포크 만큼 돌게 된다. 이 때 , train 할 때는 무조건 train mode, validation 할 때는 무조건 validation 모드에 있어야 하기 때문에 스위칭은 필수 이다. 코드에서도 이를 수동으로 명시해야 하는지 궁금했었는데 만약 e..

하이퍼 파라미터 하이퍼 파라미터 란 사람이 수동으로 조정하는 파라미터이다. 하이퍼 파라미터를 잘 조정하면 성능이 개선될 수 있다. 다음과 같은 종류가 있다. 이번에는 딥러닝에서 우리가 조작할 수 있는 하이퍼 파라미터에 대해 알아보고 튜닝(조정)하는 방법들도 정리해보고자 한다. Model-free hyperparameters ( 모델과 관련 없는 하이퍼파라미터) learning rate pytorch 에서는 learning rate scheduler를 제공한다. 총 두 가지가 있다. 1. LambdaLR 2. stepLR batch size - 클수록 좋다, 주어진 GPU의 메모리를 보고 최재의 배치사이즈를 설정하는 것이 성능이 좋다고 알려져 있다. 배치 사이즈가 크면, 한번 학습할때 보는 이미지/텍스트 ..

코드를 리뷰하다가 np.argsort 를 보고 정렬은 정렬인데 어떤식으로 정렬되는 건지 궁금해서 정리해보았다. 각 원소의 정렬 인덱스 값을 반환한다. numpy.argsort(a, axis=-1, kind=None, order=None) b = [0,1,2,3,10,9,8] x=np.argsort(b) print(x) 결과값 [0 1 2 3 6 5 4] x2 = np.argsort(b)[::-1]. #내림차순으로 정렬 결과값 [4 5 6 3 2 1 0] a = [[0,1,2,3],[1,2,3]] print(np.argsort([len(aa) for aa in a])) [1 0] x = np.array([[0, 3], [2, 2]]) np.argsort(x, axis=0) array([[0, 1], [1,..

우리는 BERT, GPT 등 다양한 프리트레인 된 모델들을 가지고 어떤 테스크를 수행합니다. 예를 들면, 문서 분류, 감정분석, 질의 응답 , 개체명인식,,, 과 같은 일들을 말이죠. 이때 이러한 테스크들은 다운스트림 태스크 (downstream task)라고 합니다. 반대로 upstream task는 프리트레인 시키는 학습 방식이라고 이해하면 될 것 같습니다. data1 -> model -> upstream task (ex- MLM, 다음 단어 맞추기) (pretrain) data2 -> model(위랑 같은 모델, 이를 전이학습 transfer learning 이라고 합니다.) -> downstream task (NER,QA,text-classification) downstream task를 학습하는..

BERT 가 트랜스포머의 인코더를 활용했다면, GPT는 트랜스포머의 디코더만 활용합니다. 디코더 중에서도 encoder-decoder attention이 빠진 디코더만 사용합니다. Masked Multi-Head Attention에서 일어나는 일을 보면, 제가 계속 예시로 드는 문장을 가져와 적용해보겠습니다. '나는 토끼를 키워. 모든 사람이 그를 좋아해'라는 문장에서 처음에는 나는을 뺴고 모두 마스킹처리해줍니다. 나는 만보고 토끼를 을 예측할 수 있도록 하기 위해서 토끼를에 확률을 높이는 식으로 업데이터하며 학습이 진행됩니다. 그리고 나는 토끼를 만으로 키워를 예측할 수 있게 , 키워에 확률을 높이는 방식으로 학습을 수행합니다. BERT에서는 가운데 단어를 [MASK]로 처리하고 앞과 뒤 단어들을 보고..