TIL

하이퍼 파라미터 하이퍼 파라미터 란 사람이 수동으로 조정하는 파라미터이다. 하이퍼 파라미터를 잘 조정하면 성능이 개선될 수 있다. 다음과 같은 종류가 있다. 이번에는 딥러닝에서 우리가 조작할 수 있는 하이퍼 파라미터에 대해 알아보고 튜닝(조정)하는 방법들도 정리해보고자 한다. Model-free hyperparameters ( 모델과 관련 없는 하이퍼파라미터) learning rate pytorch 에서는 learning rate scheduler를 제공한다. 총 두 가지가 있다. 1. LambdaLR 2. stepLR batch size - 클수록 좋다, 주어진 GPU의 메모리를 보고 최재의 배치사이즈를 설정하는 것이 성능이 좋다고 알려져 있다. 배치 사이즈가 크면, 한번 학습할때 보는 이미지/텍스트 ..

코드를 리뷰하다가 np.argsort 를 보고 정렬은 정렬인데 어떤식으로 정렬되는 건지 궁금해서 정리해보았다. 각 원소의 정렬 인덱스 값을 반환한다. numpy.argsort(a, axis=-1, kind=None, order=None) b = [0,1,2,3,10,9,8] x=np.argsort(b) print(x) 결과값 [0 1 2 3 6 5 4] x2 = np.argsort(b)[::-1]. #내림차순으로 정렬 결과값 [4 5 6 3 2 1 0] a = [[0,1,2,3],[1,2,3]] print(np.argsort([len(aa) for aa in a])) [1 0] x = np.array([[0, 3], [2, 2]]) np.argsort(x, axis=0) array([[0, 1], [1,..

우리는 BERT, GPT 등 다양한 프리트레인 된 모델들을 가지고 어떤 테스크를 수행합니다. 예를 들면, 문서 분류, 감정분석, 질의 응답 , 개체명인식,,, 과 같은 일들을 말이죠. 이때 이러한 테스크들은 다운스트림 태스크 (downstream task)라고 합니다. 반대로 upstream task는 프리트레인 시키는 학습 방식이라고 이해하면 될 것 같습니다. data1 -> model -> upstream task (ex- MLM, 다음 단어 맞추기) (pretrain) data2 -> model(위랑 같은 모델, 이를 전이학습 transfer learning 이라고 합니다.) -> downstream task (NER,QA,text-classification) downstream task를 학습하는..

BERT 가 트랜스포머의 인코더를 활용했다면, GPT는 트랜스포머의 디코더만 활용합니다. 디코더 중에서도 encoder-decoder attention이 빠진 디코더만 사용합니다. Masked Multi-Head Attention에서 일어나는 일을 보면, 제가 계속 예시로 드는 문장을 가져와 적용해보겠습니다. '나는 토끼를 키워. 모든 사람이 그를 좋아해'라는 문장에서 처음에는 나는을 뺴고 모두 마스킹처리해줍니다. 나는 만보고 토끼를 을 예측할 수 있도록 하기 위해서 토끼를에 확률을 높이는 식으로 업데이터하며 학습이 진행됩니다. 그리고 나는 토끼를 만으로 키워를 예측할 수 있게 , 키워에 확률을 높이는 방식으로 학습을 수행합니다. BERT에서는 가운데 단어를 [MASK]로 처리하고 앞과 뒤 단어들을 보고..

파이토치로 딥러닝 모델을 만드려면 데이터로더를 사용해야 한다. 이를 정의 하는 법을 정리해보려 한다 , 이전에 https://getacherryontop.tistory.com/144 에서 버트로 영화리뷰 감정분석을 하며 두 가지 방법을 언급했었다. 1. transformers 의 Trainer를 활용한다. 2. pytorch를 사용한다. 2번의 경우에 우리는 데이터로더를 정의해야 한다. 위 글에서 데이터로더만 보면 from torch.utils.data import DataLoader train_dataloader = DataLoader(small_train_dataset, shuffle=True, batch_size=8) eval_dataloader = DataLoader(small_eval_datas..

Pre-trained BERT를 활용하여 영화리뷰 감정분류 두가지 방법: 1. transformers 의 Trainer를 활용한다. 2. pytorch를 사용한다. 이 두가지 방법을 다 익혀두는 것이 좋으며, 1번은 수정 혹은 미세조정하기가 조금 까다로워서 2번으로 하는 것을 선호 하는 경우가 많다고 한다. from transformers import AutoConfig, AutoTokenizer, AutoModelForSequenceClassification config = AutoConfig.from_pretrained('bert-base-uncased') tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased') model = AutoModelF..

이번에는 Huggingface에서 제공하는 Transformers에 대하여 알아보고자 합니다. https://huggingface.co/docs/transformers/index 자연어 처리 관련 여러 라이브러리가 있지만 Transformer를 활용한 자연어 처리 task에서 가장 많이 활용되고 있는 라이브러리는 transformers입니다. pytorch version의 BERT를 가장 먼저 구현하며 주목받았던 huggingface는 현재 transformer기반의 다양한 모델들은 구현 및 공개하며 많은 주목을 받고 있습니다.(아래 주소에서 다양한 모델들을 확인 가능합니다) https://huggingface.co/models 제시된 모델 이외에도 custom model을 업로드하여 사용할 수 있습니다..

여러 오픈소스들을 공부하면서 logging에 대해 처음 접하게 되었다. 코드가 어디까지 진행이 되었고, 어디서 에러가 나는지 확인하기 위한 로그분석을 하는데 이러한 작업이 바로 logging에서 이루어지는 것이다. 아래 파이썬 공식 문서를 참조하면 로깅에 대해 읽어볼 수 있다. https://docs.python.org/ko/3/howto/logging.html 이 문서에 따르면 : 로깅은 어떤 소프트웨어가 실행될 때 발생하는 이벤트를 추적하는 수단입니다. 소프트웨어 개발자는 코드에 로깅 호출을 추가하여 특정 이벤트가 발생했음을 나타냅니다. 이벤트는 선택적으로 가변 데이터 (즉, 이벤트 발생마다 잠재적으로 다른 데이터)를 포함할 수 있는 설명 메시지로 기술됩니다. 이벤트는 또한 개발자가 이벤트에 부여한 ..

https://getacherryontop.tistory.com/140 트랜스포머와 어탠션 정리 --1 드디어 나를 괴롭히던 어탠션에 관해 이해한 후, 스스로 처음부터 정리해보았다!!! 트랜스포머 등장 전 트랜스포머 전에는 RNN, CNN을 활용한 자연어처리가 이루어졌다. 그러나 이러한 방법은 시 getacherryontop.tistory.com 지난번까지 트랜스포머의 입력과 출력, 어탠션함수에 대해 알아보았다. 인코더와 디코더에 대해 정리하던 중 책에서 좀 이상한 부분이 있어 명확하게 이해되지 않은 부분에 대해 질문을 통해 해결했다! 아무튼 이번에는 트랜스포머의 인코더와 디코더에 대해 정리하겠다. 왼쪽 사진인 트랜스포머 전체 구조에서 초록색은 인코더, 빨간색은 디코더이다. 오른쪽 사진은 인코더와 디코더..

드디어 나를 괴롭히던 어탠션에 관해 이해한 후, 스스로 처음부터 정리해보았다!!! 트랜스포머 등장 전 트랜스포머 전에는 RNN, CNN을 활용한 자연어처리가 이루어졌다. 그러나 이러한 방법은 시퀀스가 길어지면 앞의 정보가 잊혀지고(기억력이 짧음), 같은 모듈을 거치며 연산을 반복하여 정보의 유실이 많이 일어났다. 트랜스포머의 등장 -> NO MORE RNN,CNN!! 트랜스포머의 구조 초록색은 인코더, 빨간색은 디코더 이다. 즉, 트랜스포머는 인코더와 디코더로 이루어져 있다. 그리고 많이 등장하는 단어가 Attention....Attention이 뭘까???? (여기서 많이 어려워하고 포기하기 쉽다..그치만 최대한 쉽게 정리해보겠다!) 어탠션은 주목이다. Looking for attention 너야겠어 확..

딥러닝 책을 읽다보면, 엔드투엔드 모델이라는 용어가 많이 나온다. end-to-end 모델 대부분의 딥러닝 모델은 x를 넣으면 y가 나오도록 한다. (예를 들면, 개사진 입력-> 개를뱉는 이미지 분류 테스크) 그 과정은 이미지에서 특징을 추출하고, 특징에 맞는 단어와 매칭시키고 이러한 작업들을 거치는 파이프라인으로 이루어져있다.end-to-end 모델은 이러한 중간 과정들을 하나의 신경망(하나의 파이프라인)으로 대체/압축하는 것이라 생각하면 된다. 다만 이는 많은 양의 데이터가 있어야만 가능하다. 음성인식에 end-to-end 를 적용한 예 사실 좀 추상적인 개념이기는 한데요 “특정한 task를 하나의 모델에 대한 추론 결과로 수행한다” 이정도의 의미인데 여기서 “특정한 task” 는 language m..

https://huggingface.co/docs/transformers/model_doc/bert#transformers.BertForSequenceClassification BERT call ( input_ids: typing.Union[typing.List[tensorflow.python.framework.ops.Tensor], typing.List[numpy.ndarray], typing.List[tensorflow.python.keras.engine.keras_tensor.KerasTensor], typing.Dict[str, tensorflow.python.framework.ops.Tensor], typin huggingface.co 거의 모든 자연어처리 테스크에는 트랜스포..

워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 방법입니다. 1. Sparse Representation 앞서 원-핫 인코딩을 통해서 나온 원-핫 벡터들은 표현하고자 하는 단어의 인덱스의 값만 1이고, 나머지 인덱스에는 전부 0으로 표현되는 벡터 표현 방법이었습니다. 이렇게 벡터 또는 행렬(matrix)의 값이 대부분이 0으로 표현되는 방법을 희소 표현(sparse representation)이라고 합니다. 원-핫 벡터는 희소 벡터(sparse vector)입니다. 이러한 희소 벡터의 문제점은 단어의 개수가 늘어나면 벡터의 차원이 한없이 커진다는 점입니다. 단어의 인덱스에 해당되는 부분만 1이고 나머지는 0의 값을 가져야만 하므로 단어 집합이 클수록 고차원의 벡터가 됩니다. 이러한 벡터..

이번에는 실제로 LSTM을 구현해보겠습니다. import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim torch.manual_seed(1) `torch.nn` 을 활용하여 LSTM cell 을 생성하는 방법은 다음과 같습니다. * `input_size` : The number of expected features in the input x * `hidden_size` : The number of features in the hidden state h lstm = nn.LSTM(input_size, hidden_size) # input_size: 3, hidden_size: 3 으로 설정하여 L..

https://getacherryontop.tistory.com/125 RNN 자연어처리에서 토큰의 순서가 매우 중요합니다. 나는 집에 간다. (o) 나는 간다 집에 (x) 이러한 토큰의 순서를 고려하기 위해 RNN 형태의 모델이 개발되었습니다. RNN의 의미와 구조 똑같은 weight getacherryontop.tistory.com RNN은 시퀀셜한 데이터 입력에 훌륭하게 동작하지만, 기억력이 안좋습니다. time-step이 길어질수록 앞의 내용을 까먹게 되는 것이죠. 이를 보완하기 위해 LSTM이라는 구조가 제시되었습니다. LSTM(Long short-term memory) - 별도의 Cell state 변수를 통해 기억을 할 수 있도록합니다. 여러가지 gate를 두어 기억, 잊어버리기, 출력할 데..

자연어 처리에서 토큰은 사용자 지정 단위입니다. raw string을 토큰 단위로 쪼개는 것을 토큰화라고 하고, 우리는 이 토큰들로 vocab 사전을 만들게 됩니다. 즉, 토큰화는 주어진 입력 데이터를 자연어처리 모델이 인식할 수 있는 단위로 변환해주는 방법입니다. 예를 들어 I am student라는 문장은 토큰화를 거치면 I, am, student로 나눠지게 됩니다. I am student=[I, am, student] 까지 되면 우리는 이 단어들이 vocab 사전에서의 인덱스값으로 변환합니다. 만약 I가 10번째, am이 12번째, student가 100번째에 위치하고 있다면 [I, am, student] =[10,12,100]이 되고 해당 벡터들이 모델의 인풋으로 들어가게 됩니다. 토크나이저 토큰..

한글만 남기기 import re tmp = re.sub('[^ 가-힣]', '',text) print(tmp)

!pip install git+https://github.com/ssut/py-hanspell.git from hanspell import spell_checker sent = "어제는 않잤어. 감기 빨리 낳아! " spelled_sent = spell_checker.check(sent) hanspell_sent = spelled_sent.checked print(hanspell_sent) 어제는 안 잤어. 감기 빨리 나아!

!pip install git+https://github.com/haven-jeon/PyKoSpacing.git sentence = '코딩과 AI 개발이 둘다 가능한 사람은 많지 않다.' new = sentence.replace(" ", '') # 띄어쓰기가 없는 문장 임의로 만들기 print(new) from pykospacing import Spacing spacing = Spacing() kospacing_sen = spacing(new) print('띄어쓰기가 없는 문장 :\n', new) print('정답 문장:\n', sentence) print('띄어쓰기 교정 후:\n', kospacing_sen) 띄어쓰기가 없는 문장 : 코딩과AI개발이둘다가능한사람은많지않다. 정답 문장: 코딩과 AI 개발..

설치 !pip install konlpy 한나눔(Hannanum) from konlpy.tag import Hannanum hannanum = Hannanum() text = '안녕하세요! 오늘 많이 추워요' print(hannanum.morphs(text)) # Parse phrase to morphemes print(hannanum.nouns(text)) # Noun extractors print(hannanum.pos(text)) # POS tagger ['안녕', '하', '세', '요', '!', '오늘', '많', '이', '춥', '어요'] ['안녕', '오늘'] [('안녕', 'N'), ('하', 'X'), ('세', 'E'), ('요', 'J'), ('!', 'S'), ('오늘', 'N'..