TIL

파이토치로 딥러닝 모델을 만드려면 데이터로더를 사용해야 한다. 이를 정의 하는 법을 정리해보려 한다 , 이전에 https://getacherryontop.tistory.com/144 에서 버트로 영화리뷰 감정분석을 하며 두 가지 방법을 언급했었다. 1. transformers 의 Trainer를 활용한다. 2. pytorch를 사용한다. 2번의 경우에 우리는 데이터로더를 정의해야 한다. 위 글에서 데이터로더만 보면 from torch.utils.data import DataLoader train_dataloader = DataLoader(small_train_dataset, shuffle=True, batch_size=8) eval_dataloader = DataLoader(small_eval_datas..

Pre-trained BERT를 활용하여 영화리뷰 감정분류 두가지 방법: 1. transformers 의 Trainer를 활용한다. 2. pytorch를 사용한다. 이 두가지 방법을 다 익혀두는 것이 좋으며, 1번은 수정 혹은 미세조정하기가 조금 까다로워서 2번으로 하는 것을 선호 하는 경우가 많다고 한다. from transformers import AutoConfig, AutoTokenizer, AutoModelForSequenceClassification config = AutoConfig.from_pretrained('bert-base-uncased') tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased') model = AutoModelF..

이번에는 Huggingface에서 제공하는 Transformers에 대하여 알아보고자 합니다. https://huggingface.co/docs/transformers/index 자연어 처리 관련 여러 라이브러리가 있지만 Transformer를 활용한 자연어 처리 task에서 가장 많이 활용되고 있는 라이브러리는 transformers입니다. pytorch version의 BERT를 가장 먼저 구현하며 주목받았던 huggingface는 현재 transformer기반의 다양한 모델들은 구현 및 공개하며 많은 주목을 받고 있습니다.(아래 주소에서 다양한 모델들을 확인 가능합니다) https://huggingface.co/models 제시된 모델 이외에도 custom model을 업로드하여 사용할 수 있습니다..

여러 오픈소스들을 공부하면서 logging에 대해 처음 접하게 되었다. 코드가 어디까지 진행이 되었고, 어디서 에러가 나는지 확인하기 위한 로그분석을 하는데 이러한 작업이 바로 logging에서 이루어지는 것이다. 아래 파이썬 공식 문서를 참조하면 로깅에 대해 읽어볼 수 있다. https://docs.python.org/ko/3/howto/logging.html 이 문서에 따르면 : 로깅은 어떤 소프트웨어가 실행될 때 발생하는 이벤트를 추적하는 수단입니다. 소프트웨어 개발자는 코드에 로깅 호출을 추가하여 특정 이벤트가 발생했음을 나타냅니다. 이벤트는 선택적으로 가변 데이터 (즉, 이벤트 발생마다 잠재적으로 다른 데이터)를 포함할 수 있는 설명 메시지로 기술됩니다. 이벤트는 또한 개발자가 이벤트에 부여한 ..

https://getacherryontop.tistory.com/140 트랜스포머와 어탠션 정리 --1 드디어 나를 괴롭히던 어탠션에 관해 이해한 후, 스스로 처음부터 정리해보았다!!! 트랜스포머 등장 전 트랜스포머 전에는 RNN, CNN을 활용한 자연어처리가 이루어졌다. 그러나 이러한 방법은 시 getacherryontop.tistory.com 지난번까지 트랜스포머의 입력과 출력, 어탠션함수에 대해 알아보았다. 인코더와 디코더에 대해 정리하던 중 책에서 좀 이상한 부분이 있어 명확하게 이해되지 않은 부분에 대해 질문을 통해 해결했다! 아무튼 이번에는 트랜스포머의 인코더와 디코더에 대해 정리하겠다. 왼쪽 사진인 트랜스포머 전체 구조에서 초록색은 인코더, 빨간색은 디코더이다. 오른쪽 사진은 인코더와 디코더..

드디어 나를 괴롭히던 어탠션에 관해 이해한 후, 스스로 처음부터 정리해보았다!!! 트랜스포머 등장 전 트랜스포머 전에는 RNN, CNN을 활용한 자연어처리가 이루어졌다. 그러나 이러한 방법은 시퀀스가 길어지면 앞의 정보가 잊혀지고(기억력이 짧음), 같은 모듈을 거치며 연산을 반복하여 정보의 유실이 많이 일어났다. 트랜스포머의 등장 -> NO MORE RNN,CNN!! 트랜스포머의 구조 초록색은 인코더, 빨간색은 디코더 이다. 즉, 트랜스포머는 인코더와 디코더로 이루어져 있다. 그리고 많이 등장하는 단어가 Attention....Attention이 뭘까???? (여기서 많이 어려워하고 포기하기 쉽다..그치만 최대한 쉽게 정리해보겠다!) 어탠션은 주목이다. Looking for attention 너야겠어 확..

딥러닝 책을 읽다보면, 엔드투엔드 모델이라는 용어가 많이 나온다. end-to-end 모델 대부분의 딥러닝 모델은 x를 넣으면 y가 나오도록 한다. (예를 들면, 개사진 입력-> 개를뱉는 이미지 분류 테스크) 그 과정은 이미지에서 특징을 추출하고, 특징에 맞는 단어와 매칭시키고 이러한 작업들을 거치는 파이프라인으로 이루어져있다.end-to-end 모델은 이러한 중간 과정들을 하나의 신경망(하나의 파이프라인)으로 대체/압축하는 것이라 생각하면 된다. 다만 이는 많은 양의 데이터가 있어야만 가능하다. 음성인식에 end-to-end 를 적용한 예 사실 좀 추상적인 개념이기는 한데요 “특정한 task를 하나의 모델에 대한 추론 결과로 수행한다” 이정도의 의미인데 여기서 “특정한 task” 는 language m..

https://huggingface.co/docs/transformers/model_doc/bert#transformers.BertForSequenceClassification BERT call ( input_ids: typing.Union[typing.List[tensorflow.python.framework.ops.Tensor], typing.List[numpy.ndarray], typing.List[tensorflow.python.keras.engine.keras_tensor.KerasTensor], typing.Dict[str, tensorflow.python.framework.ops.Tensor], typin huggingface.co 거의 모든 자연어처리 테스크에는 트랜스포..

워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 방법입니다. 1. Sparse Representation 앞서 원-핫 인코딩을 통해서 나온 원-핫 벡터들은 표현하고자 하는 단어의 인덱스의 값만 1이고, 나머지 인덱스에는 전부 0으로 표현되는 벡터 표현 방법이었습니다. 이렇게 벡터 또는 행렬(matrix)의 값이 대부분이 0으로 표현되는 방법을 희소 표현(sparse representation)이라고 합니다. 원-핫 벡터는 희소 벡터(sparse vector)입니다. 이러한 희소 벡터의 문제점은 단어의 개수가 늘어나면 벡터의 차원이 한없이 커진다는 점입니다. 단어의 인덱스에 해당되는 부분만 1이고 나머지는 0의 값을 가져야만 하므로 단어 집합이 클수록 고차원의 벡터가 됩니다. 이러한 벡터..

이번에는 실제로 LSTM을 구현해보겠습니다. import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim torch.manual_seed(1) `torch.nn` 을 활용하여 LSTM cell 을 생성하는 방법은 다음과 같습니다. * `input_size` : The number of expected features in the input x * `hidden_size` : The number of features in the hidden state h lstm = nn.LSTM(input_size, hidden_size) # input_size: 3, hidden_size: 3 으로 설정하여 L..