TIL

자연어 처리에서 토큰은 사용자 지정 단위입니다. raw string을 토큰 단위로 쪼개는 것을 토큰화라고 하고, 우리는 이 토큰들로 vocab 사전을 만들게 됩니다. 즉, 토큰화는 주어진 입력 데이터를 자연어처리 모델이 인식할 수 있는 단위로 변환해주는 방법입니다. 예를 들어 I am student라는 문장은 토큰화를 거치면 I, am, student로 나눠지게 됩니다. I am student=[I, am, student] 까지 되면 우리는 이 단어들이 vocab 사전에서의 인덱스값으로 변환합니다. 만약 I가 10번째, am이 12번째, student가 100번째에 위치하고 있다면 [I, am, student] =[10,12,100]이 되고 해당 벡터들이 모델의 인풋으로 들어가게 됩니다. 토크나이저 토큰..

한글만 남기기 import re tmp = re.sub('[^ 가-힣]', '',text) print(tmp)

!pip install git+https://github.com/ssut/py-hanspell.git from hanspell import spell_checker sent = "어제는 않잤어. 감기 빨리 낳아! " spelled_sent = spell_checker.check(sent) hanspell_sent = spelled_sent.checked print(hanspell_sent) 어제는 안 잤어. 감기 빨리 나아!

!pip install git+https://github.com/haven-jeon/PyKoSpacing.git sentence = '코딩과 AI 개발이 둘다 가능한 사람은 많지 않다.' new = sentence.replace(" ", '') # 띄어쓰기가 없는 문장 임의로 만들기 print(new) from pykospacing import Spacing spacing = Spacing() kospacing_sen = spacing(new) print('띄어쓰기가 없는 문장 :\n', new) print('정답 문장:\n', sentence) print('띄어쓰기 교정 후:\n', kospacing_sen) 띄어쓰기가 없는 문장 : 코딩과AI개발이둘다가능한사람은많지않다. 정답 문장: 코딩과 AI 개발..

설치 !pip install konlpy 한나눔(Hannanum) from konlpy.tag import Hannanum hannanum = Hannanum() text = '안녕하세요! 오늘 많이 추워요' print(hannanum.morphs(text)) # Parse phrase to morphemes print(hannanum.nouns(text)) # Noun extractors print(hannanum.pos(text)) # POS tagger ['안녕', '하', '세', '요', '!', '오늘', '많', '이', '춥', '어요'] ['안녕', '오늘'] [('안녕', 'N'), ('하', 'X'), ('세', 'E'), ('요', 'J'), ('!', 'S'), ('오늘', 'N'..

import re re.sub('[0-9]+', 'num', '1 2 3 4 hello') # 숫자만 찾아서 num으로 바꿈 re.sub('패턴', '바꿀문자열', '문자열', 바꿀횟수)로 간단한 문자열 차환이 가능하지만, re.complie()을 쓰면 반복되는 작업을 한번에 처리할 수 있다. # 임의의 한 개의 문자를 나타내는 . r = re.compile("a.c") r.search("abc") # ? 앞의 문자가 존재할 수도 있고, 존재하지 않을 수도 있는 경우 r = re.compile("a?c") # * 은 바로 앞의 문자가 0개 이상일 경우를 나타냄. r = re.compile("ab*c") # b 가 하나도 없거나, 여러 개인 경우'' # + 앞의 문자가 최소 1개 이상 있어야 함. r = ..

텍스트 전처리 과정 1. normalization : raw string을 cleaning하는 작업(여백 제거, 대소문자 변환) 2. pre-tokenization : text를 word로 자르기 3. tokenization: 더 작게 자르는 과정 1. normalization - stemming , lestemming : 간다, 갔다, 가는,,,,-> 어근="가" - uncased : 모두 소문자로 바꿈(He=he를 명시하기위해, 한국어는 해당되지 않음) - 불용어 제거 : 특수문자, 학습에 필요하지 않은 단어(영어의 경우 길이가 1인 단어를 제거하기도함) - 정규 표현식 활용한 패턴 제거- (re, NLTK) 2. pre-tokenization - 가장 기본적인 방법은 특수문자 제거, 띄어쓰기 기준으..

Bag-of-words(BoW) is a statistical language model used to analyze text and documents based on word count. BoW는 단어의 빈도수를 기반으로 한다. BoW가정을 기반으로 한 워드 임베딩은 문장 내 단어 등장 순서를 고려하지 않는다. 위 이미지 처럼 BoW를 적용해 행렬로 만들 수 있다. 보다시피 순서를 고려하진 않는다. 단어 개수를 센다고 봐도 무방하다. {'it':6, 'I':5, 'the': 4, 'to':3....} 파이썬에서 collection 모듈의 Counter를 사용하거나 scikit-learn에서 CountVectorizer를 통해 손쉽게 행렬을 만들 수 있다. TF-IDF 단순히 많이 등장하는 단어가 중요한..

필요한 라이브러리 임포트 import torch import numpy as np from sklearn.datasets import make_blobs import matplotlib.pyplot as plt import torch.nn.functional as F 데이터셋 생성 n_dim=2 x_train, y_train = make_blobs(n_samples=50, n_features=n_dim, centers=[[1,1],[-1,-1],[1,-1],[-1,1]], shuffle=True, cluster_std=0.3) x_test, y_test = make_blobs(n_samples=20, n_features=n_dim, centers=[[1,1],[-1,-1],[1,-1],[-1,1]], s..

자연어처리에서 토큰의 순서가 매우 중요합니다. 나는 집에 간다. (o) 나는 간다 집에 (x) 이러한 토큰의 순서를 고려하기 위해 RNN 형태의 모델이 개발되었습니다. RNN의 의미와 구조 똑같은 weight를 통해 재귀적으로(Recurrent) 학습한다. = RNN(Recurrent Neural Network) xt라는 input이 들어가게 되면 이전에 xt-1에서 학습된 A라는 weight를 통해 ht를 리턴하게 됩니다. RNN의 여러 형태와 사용 분야 빨간박스는 인풋, 초록박스는 RNN Block, 파란박스는 y(정답) 혹은 y^(예측값) 아웃풋입니다. one-to-many 사용분야 : image captioning ( input: image, output: sequence of words/toke..