TIL

워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 방법입니다. 1. Sparse Representation 앞서 원-핫 인코딩을 통해서 나온 원-핫 벡터들은 표현하고자 하는 단어의 인덱스의 값만 1이고, 나머지 인덱스에는 전부 0으로 표현되는 벡터 표현 방법이었습니다. 이렇게 벡터 또는 행렬(matrix)의 값이 대부분이 0으로 표현되는 방법을 희소 표현(sparse representation)이라고 합니다. 원-핫 벡터는 희소 벡터(sparse vector)입니다. 이러한 희소 벡터의 문제점은 단어의 개수가 늘어나면 벡터의 차원이 한없이 커진다는 점입니다. 단어의 인덱스에 해당되는 부분만 1이고 나머지는 0의 값을 가져야만 하므로 단어 집합이 클수록 고차원의 벡터가 됩니다. 이러한 벡터..

이번에는 실제로 LSTM을 구현해보겠습니다. import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim torch.manual_seed(1) `torch.nn` 을 활용하여 LSTM cell 을 생성하는 방법은 다음과 같습니다. * `input_size` : The number of expected features in the input x * `hidden_size` : The number of features in the hidden state h lstm = nn.LSTM(input_size, hidden_size) # input_size: 3, hidden_size: 3 으로 설정하여 L..

https://getacherryontop.tistory.com/125 RNN 자연어처리에서 토큰의 순서가 매우 중요합니다. 나는 집에 간다. (o) 나는 간다 집에 (x) 이러한 토큰의 순서를 고려하기 위해 RNN 형태의 모델이 개발되었습니다. RNN의 의미와 구조 똑같은 weight getacherryontop.tistory.com RNN은 시퀀셜한 데이터 입력에 훌륭하게 동작하지만, 기억력이 안좋습니다. time-step이 길어질수록 앞의 내용을 까먹게 되는 것이죠. 이를 보완하기 위해 LSTM이라는 구조가 제시되었습니다. LSTM(Long short-term memory) - 별도의 Cell state 변수를 통해 기억을 할 수 있도록합니다. 여러가지 gate를 두어 기억, 잊어버리기, 출력할 데..

자연어 처리에서 토큰은 사용자 지정 단위입니다. raw string을 토큰 단위로 쪼개는 것을 토큰화라고 하고, 우리는 이 토큰들로 vocab 사전을 만들게 됩니다. 즉, 토큰화는 주어진 입력 데이터를 자연어처리 모델이 인식할 수 있는 단위로 변환해주는 방법입니다. 예를 들어 I am student라는 문장은 토큰화를 거치면 I, am, student로 나눠지게 됩니다. I am student=[I, am, student] 까지 되면 우리는 이 단어들이 vocab 사전에서의 인덱스값으로 변환합니다. 만약 I가 10번째, am이 12번째, student가 100번째에 위치하고 있다면 [I, am, student] =[10,12,100]이 되고 해당 벡터들이 모델의 인풋으로 들어가게 됩니다. 토크나이저 토큰..

한글만 남기기 import re tmp = re.sub('[^ 가-힣]', '',text) print(tmp)

!pip install git+https://github.com/ssut/py-hanspell.git from hanspell import spell_checker sent = "어제는 않잤어. 감기 빨리 낳아! " spelled_sent = spell_checker.check(sent) hanspell_sent = spelled_sent.checked print(hanspell_sent) 어제는 안 잤어. 감기 빨리 나아!

!pip install git+https://github.com/haven-jeon/PyKoSpacing.git sentence = '코딩과 AI 개발이 둘다 가능한 사람은 많지 않다.' new = sentence.replace(" ", '') # 띄어쓰기가 없는 문장 임의로 만들기 print(new) from pykospacing import Spacing spacing = Spacing() kospacing_sen = spacing(new) print('띄어쓰기가 없는 문장 :\n', new) print('정답 문장:\n', sentence) print('띄어쓰기 교정 후:\n', kospacing_sen) 띄어쓰기가 없는 문장 : 코딩과AI개발이둘다가능한사람은많지않다. 정답 문장: 코딩과 AI 개발..

설치 !pip install konlpy 한나눔(Hannanum) from konlpy.tag import Hannanum hannanum = Hannanum() text = '안녕하세요! 오늘 많이 추워요' print(hannanum.morphs(text)) # Parse phrase to morphemes print(hannanum.nouns(text)) # Noun extractors print(hannanum.pos(text)) # POS tagger ['안녕', '하', '세', '요', '!', '오늘', '많', '이', '춥', '어요'] ['안녕', '오늘'] [('안녕', 'N'), ('하', 'X'), ('세', 'E'), ('요', 'J'), ('!', 'S'), ('오늘', 'N'..

import re re.sub('[0-9]+', 'num', '1 2 3 4 hello') # 숫자만 찾아서 num으로 바꿈 re.sub('패턴', '바꿀문자열', '문자열', 바꿀횟수)로 간단한 문자열 차환이 가능하지만, re.complie()을 쓰면 반복되는 작업을 한번에 처리할 수 있다. # 임의의 한 개의 문자를 나타내는 . r = re.compile("a.c") r.search("abc") # ? 앞의 문자가 존재할 수도 있고, 존재하지 않을 수도 있는 경우 r = re.compile("a?c") # * 은 바로 앞의 문자가 0개 이상일 경우를 나타냄. r = re.compile("ab*c") # b 가 하나도 없거나, 여러 개인 경우'' # + 앞의 문자가 최소 1개 이상 있어야 함. r = ..

텍스트 전처리 과정 1. normalization : raw string을 cleaning하는 작업(여백 제거, 대소문자 변환) 2. pre-tokenization : text를 word로 자르기 3. tokenization: 더 작게 자르는 과정 1. normalization - stemming , lestemming : 간다, 갔다, 가는,,,,-> 어근="가" - uncased : 모두 소문자로 바꿈(He=he를 명시하기위해, 한국어는 해당되지 않음) - 불용어 제거 : 특수문자, 학습에 필요하지 않은 단어(영어의 경우 길이가 1인 단어를 제거하기도함) - 정규 표현식 활용한 패턴 제거- (re, NLTK) 2. pre-tokenization - 가장 기본적인 방법은 특수문자 제거, 띄어쓰기 기준으..