TIL

코랩 프로 플러스를 구독한지 2주 정도 지났다. 가격은 49.99달러 한화로 약 64850원 정도를 결제했다. 써보고 남들에게 추천하는가?를 물어본다면 no라고 말하고 싶다..... 물론 프로젝트 크기에 따라 다르지만 코랩 구독은 프로/ 프로플러스 2가지가 있다. 나는 8월에는 프로를, 1월부터는 플러스를 구독해서 쓰고 있다. 일단 프로와 프로플러스의 속도 체감은 있다. 확실히 더 빠르고 메모리도 크다. 그치만...... 언제부터인가 조건으로 computer unit을 코랩프로는 한달에 100, 프로플러스는 500 을 준다는 것이 추가되었다....... 프로플러스여도 다양한 조건에서 에포크를 높게 해서 돌리면 한 이틀 삼일이면 다 쓰는 양이다.... 내가 지금 그렇다..... 몇 번 실험을 진행하다가 갑..

자연어처리에서 다운스트림 태스크 중 예를 들면 분류하는 문제에서, 모델을 학습시킬 때 train 과 validation 으로 먼저 성능을 채점한 후,레이블이 없는 새로운 인풋으로 test셋을 넣어 예측된 레이블 값을 얻는다. train 과 validation을 하는 과정에서, train을 하기전 model.train() 으로 train상태로 만들어주고, train이 끝나면 model.eval()로 스위칭하여 검증을 하고 다시 train- eval 하는 식으로 에포크 만큼 돌게 된다. 이 때 , train 할 때는 무조건 train mode, validation 할 때는 무조건 validation 모드에 있어야 하기 때문에 스위칭은 필수 이다. 코드에서도 이를 수동으로 명시해야 하는지 궁금했었는데 만약 e..

하이퍼 파라미터 하이퍼 파라미터 란 사람이 수동으로 조정하는 파라미터이다. 하이퍼 파라미터를 잘 조정하면 성능이 개선될 수 있다. 다음과 같은 종류가 있다. 이번에는 딥러닝에서 우리가 조작할 수 있는 하이퍼 파라미터에 대해 알아보고 튜닝(조정)하는 방법들도 정리해보고자 한다. Model-free hyperparameters ( 모델과 관련 없는 하이퍼파라미터) learning rate pytorch 에서는 learning rate scheduler를 제공한다. 총 두 가지가 있다. 1. LambdaLR 2. stepLR batch size - 클수록 좋다, 주어진 GPU의 메모리를 보고 최재의 배치사이즈를 설정하는 것이 성능이 좋다고 알려져 있다. 배치 사이즈가 크면, 한번 학습할때 보는 이미지/텍스트 ..

우리는 BERT, GPT 등 다양한 프리트레인 된 모델들을 가지고 어떤 테스크를 수행합니다. 예를 들면, 문서 분류, 감정분석, 질의 응답 , 개체명인식,,, 과 같은 일들을 말이죠. 이때 이러한 테스크들은 다운스트림 태스크 (downstream task)라고 합니다. 반대로 upstream task는 프리트레인 시키는 학습 방식이라고 이해하면 될 것 같습니다. data1 -> model -> upstream task (ex- MLM, 다음 단어 맞추기) (pretrain) data2 -> model(위랑 같은 모델, 이를 전이학습 transfer learning 이라고 합니다.) -> downstream task (NER,QA,text-classification) downstream task를 학습하는..

BERT 가 트랜스포머의 인코더를 활용했다면, GPT는 트랜스포머의 디코더만 활용합니다. 디코더 중에서도 encoder-decoder attention이 빠진 디코더만 사용합니다. Masked Multi-Head Attention에서 일어나는 일을 보면, 제가 계속 예시로 드는 문장을 가져와 적용해보겠습니다. '나는 토끼를 키워. 모든 사람이 그를 좋아해'라는 문장에서 처음에는 나는을 뺴고 모두 마스킹처리해줍니다. 나는 만보고 토끼를 을 예측할 수 있도록 하기 위해서 토끼를에 확률을 높이는 식으로 업데이터하며 학습이 진행됩니다. 그리고 나는 토끼를 만으로 키워를 예측할 수 있게 , 키워에 확률을 높이는 방식으로 학습을 수행합니다. BERT에서는 가운데 단어를 [MASK]로 처리하고 앞과 뒤 단어들을 보고..

Pre-trained BERT를 활용하여 영화리뷰 감정분류 두가지 방법: 1. transformers 의 Trainer를 활용한다. 2. pytorch를 사용한다. 이 두가지 방법을 다 익혀두는 것이 좋으며, 1번은 수정 혹은 미세조정하기가 조금 까다로워서 2번으로 하는 것을 선호 하는 경우가 많다고 한다. from transformers import AutoConfig, AutoTokenizer, AutoModelForSequenceClassification config = AutoConfig.from_pretrained('bert-base-uncased') tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased') model = AutoModelF..

이번에는 Huggingface에서 제공하는 Transformers에 대하여 알아보고자 합니다. https://huggingface.co/docs/transformers/index 자연어 처리 관련 여러 라이브러리가 있지만 Transformer를 활용한 자연어 처리 task에서 가장 많이 활용되고 있는 라이브러리는 transformers입니다. pytorch version의 BERT를 가장 먼저 구현하며 주목받았던 huggingface는 현재 transformer기반의 다양한 모델들은 구현 및 공개하며 많은 주목을 받고 있습니다.(아래 주소에서 다양한 모델들을 확인 가능합니다) https://huggingface.co/models 제시된 모델 이외에도 custom model을 업로드하여 사용할 수 있습니다..

https://getacherryontop.tistory.com/140 트랜스포머와 어탠션 정리 --1 드디어 나를 괴롭히던 어탠션에 관해 이해한 후, 스스로 처음부터 정리해보았다!!! 트랜스포머 등장 전 트랜스포머 전에는 RNN, CNN을 활용한 자연어처리가 이루어졌다. 그러나 이러한 방법은 시 getacherryontop.tistory.com 지난번까지 트랜스포머의 입력과 출력, 어탠션함수에 대해 알아보았다. 인코더와 디코더에 대해 정리하던 중 책에서 좀 이상한 부분이 있어 명확하게 이해되지 않은 부분에 대해 질문을 통해 해결했다! 아무튼 이번에는 트랜스포머의 인코더와 디코더에 대해 정리하겠다. 왼쪽 사진인 트랜스포머 전체 구조에서 초록색은 인코더, 빨간색은 디코더이다. 오른쪽 사진은 인코더와 디코더..

드디어 나를 괴롭히던 어탠션에 관해 이해한 후, 스스로 처음부터 정리해보았다!!! 트랜스포머 등장 전 트랜스포머 전에는 RNN, CNN을 활용한 자연어처리가 이루어졌다. 그러나 이러한 방법은 시퀀스가 길어지면 앞의 정보가 잊혀지고(기억력이 짧음), 같은 모듈을 거치며 연산을 반복하여 정보의 유실이 많이 일어났다. 트랜스포머의 등장 -> NO MORE RNN,CNN!! 트랜스포머의 구조 초록색은 인코더, 빨간색은 디코더 이다. 즉, 트랜스포머는 인코더와 디코더로 이루어져 있다. 그리고 많이 등장하는 단어가 Attention....Attention이 뭘까???? (여기서 많이 어려워하고 포기하기 쉽다..그치만 최대한 쉽게 정리해보겠다!) 어탠션은 주목이다. Looking for attention 너야겠어 확..

https://huggingface.co/docs/transformers/model_doc/bert#transformers.BertForSequenceClassification BERT call ( input_ids: typing.Union[typing.List[tensorflow.python.framework.ops.Tensor], typing.List[numpy.ndarray], typing.List[tensorflow.python.keras.engine.keras_tensor.KerasTensor], typing.Dict[str, tensorflow.python.framework.ops.Tensor], typin huggingface.co 거의 모든 자연어처리 테스크에는 트랜스포..