TIL

최적화 : 확률적 경사하강법 - 안장점을 만나면 치소점과 구분하지 못하고 학습을 종료하는데, 손실 함수의 차원이 높아질수록 안장점은 기하급수적으로 많아지므로 최적해로 수렴하지 못할 가능성이 커진다. SGD 모멘텀 - 관성이 작용하면 학습 경로가 전체적으로 매끄러워진다. 오버슈팅이 된다는 단점이 있다.최소점 주변의 경사가 가파르면 내려오던 속도가 크기때문에 반대편으로 오버 슈팅이 된다. 네스테로프 모멘텀 - 관성이 커지더라도 오버슈팅이 될지 미리 살피고 교정하기때문에 오버슈팅이 억제된다. AdaGrad - 손실함수의 곡면 변화에 따라 적응적으로 학습률을 정한다. - 학습이 진행될수록 곡면 변화량이 증가하고 적응적 학습률은 점점 낮아진다. 경사가 가파른 곳에서 출발하면 초기부터 적응적 학습률이 급감해서 학습..

딥러닝이란? - 인공신경망을 이용해 복잡한 데이터 관계를 찾아내는 머신러닝 기법, 특징을 자동으로 추출하므로 모델 확장성이 높아 머신러닝보다 다양한 문제에 활용할 수 있다. - 지도학습, 비지도학습, 강화학습에도 뛰어난 성능을 보이고 있다. - 단, 비용과 시간, 데이터가 많이 필요하다. 설정해야 할 파라미터도 많아 최적화가 쉽지 않고. 디버깅도 어렵다. 또한 타깃데이터를 만드는데도 비용이 많이 든다는 한게가 있다. 순방향 신경망(feedforward neural network) - 다층퍼셉트론을 순방향 신경망, 퍼셉트론은 인공 신경망이라 부른다. 순방향 신경망은 데이터가 서로 독립이라고 가정하며, 데이터를 한 방향으로 전달하는 순방향 연결 구조로 이루어진다. - 순방향 신경망은 뉴런들이 모여 게층을 이..

view - 원소의 수를 유지하면서 텐서의 크기 변경 t = np.array([[[0, 1, 2], [3, 4, 5]], [[6, 7, 8], [9, 10, 11]]]) ft = torch.FloatTensor(t) ft라는 이름의 3차원 텐서를 만들었습니다. 크기(shape)를 확인해보겠습니다. print(ft.shape) torch.Size([2, 2, 3]) 4-1) 3차원 텐서에서 2차원 텐서로 변경 이제 ft 텐서를 view를 사용하여 크기(shape)를 2차원 텐서로 변경해봅시다. print(ft.view([-1, 3])) # ft라는 텐서를 (?, 3)의 크기로 변경 print(ft.view([-1, 3]).shape) tensor([[ 0., 1., 2.], [ 3., 4., 5.], [ ..

파이토치 텐서 선언하기(PyTorch Tensor Allocation) import torch 1) 1D with PyTorch 파이토치로 1차원 텐서인 벡터를 만들어봅시다. t = torch.FloatTensor([0., 1., 2., 3., 4., 5., 6.]) print(t) dim()을 사용하면 현재 텐서의 차원을 보여줍니다. shape나 size()를 사용하면 크기를 확인할 수 있습니다. print(t.dim()) # rank. 즉, 차원 print(t.shape) # shape print(t.size()) # shape 1 torch.Size([7]) torch.Size([7]) 현재 1차원 텐서이며, 원소는 7개입니다. 인덱스로 접근하는 것과 슬라이싱을 해봅시다. 방법은 Numpy 실습과 ..

딥러닝의 가장 기본적인 단위는 벡터, 행렬, 텐서입니다. 1차원으로 구성된 값(1D)은 벡터, 2차원으로 구성된 값을 행렬(Matrix)라고 합니다. 그리고 3차원이 되면 우리는 텐서(Tensor)라고 부릅니다. 사실 우리는 3차원의 세상에 살고 있으므로, 4차원 이상부터는 머리로 생각하기는 어렵습니다. 4차원은 3차원의 텐서를 위로 쌓아 올린 모습으로 상상해보겠습니다. 5차원은 그 4차원을 다시 옆으로 확장한 모습으로 생각해봅시다. 6차원은 5차원을 뒤로 확장한 모습으로 볼 수 있습니다. 텐서 중 가장 전형적인 2차원 텐서를 예시로 봅시다. 텐서의 크기 |t| = (Batch size, dim) 훈련 데이터 하나의 크기를 256이라고 해봅시다. [3, 1, 2, 5, ...] 이런 숫자들의 나열이 25..

미분에 대해서는 고등학교에 잠깐 배웠었는데(문과 출신;;) 딥러닝 공부하면서 기울기 구하면서 최적화하는 과정에서 미분이 쓰인다고 한다. 개념은 이해됐는데 그 과정을 잘 이해가 되지 않아 미분부터 정리해보려 한다. 미분 (differentiation) = 특정 한 순간의 변화량 즉 , x에 대한 f(x)의 변화량을 나타내는 수식이다. 그러나 이렇게 계산하면 반올림 오차 문제가 생긴다. h에 너무 작은 값을 대입하면 컴퓨터가 계산할 때 생략해버린다. 따라서 h 는 10의 -4승 정도가 적당하다. 그리고 x+h와 x의 차분(임의 주 범에서의 함수값의 차이)를 계산할 때도 오차가 있다. h를 무한히 0으로 좁할 수 없기 때문이다. 이 오차를 해결하기 위해 중심차분(중앙차분)을 사용하여 f(x+h)-f(x-h)의..

딥러닝과 머신러닝의 차이? 1. 머신러닝은 특성(feature)이 미리 정해져 있지만, 딥러닝은 학습시키면 특성을 추출하도록 학습이 된다. 2. 머신러닝의 알고리즘 중 하나인 인공신경망을 여러 개 쌓아 깊은 신경망을 만든 것이 딥러닝이다. 신경망 학습 = 최적화를 하는 과정 - input으로 훈련 데이터가 들어가면 output은 최적의 매개변수(가중치)이다. 신경망 학습 과정 : 1. 난수로 매개변수 벡터 w 초기화 2. while True: w에 fit하고, 손실함수 J(w)계산 (J(w)의 조건, J(w)=0 은 정확도가 100%라는의미) if J(w)만족스러움 : break else: w = w+△w. (손실함수를 최소화하는 △w 계산, 업데이트 하는 과정) w를 저장한다. 손실함수 - 손실함수가 ..

파이썬은 객체지향 언어이다. 객체지향 언어는 서로 관련이 있는 변수와 함수를 하나로 묶을 수 있는 클래스라는 기능을 제공한다. 예시를 통해 살펴보자 from gtts import gTTS import playsound tts = gTTS(text=news, lang='ko') tts.save("news1.mp3") playsound.playsound("news1.mp3", True) https://pypi.org/project/gTTS/ 객체지향 프로그래밍의 일반적 절차 1. 모듈에서 클래스를 불러온다. (import로 클래스(gTTs)를 불러옴) 2, 클래스의 객체(인스턴스 변수)를 만든다 gTTS()로 클래스의 tts라는 객체를 만듦 3. 객체의 함수를 호출해 작업을 한다. 객체가 제공하는 .save..

1. 언어 Python(파이썬) 튜토리얼 : https://docs.python.org/ko/3/tutorial/index.html 2. 라이브러리 관리 Pypl(파이파이) 다양한사람들이 개발한 라이브러리는 한곳에 모아놓은 웹사이트 https://pypi.org/ PyPI · The Python Package Index The Python Package Index (PyPI) is a repository of software for the Python programming language. pypi.org 3. 라이브러리 1️⃣ 넘파이(Numpy) - 1차원 벡터, 2차원 행렬 을 넘어 n차원 배열도 지원함, 배열 표현, 연산 역행렬과같은 선형대수 연산 기능도 있음. 주로 훈련 집합, 신경망의 가중치, ..

작업 인원 : 1명, 소요기간 : 1일, 작업환경 : google colab, python, KoBERT, 데이터 : 뉴스기사 텍스크와 해당 카테고리 정확도 0.847, F1 Score - 0.845 자연어처리에서 분류에 사용되는 모델은 간단한 RNN, LSTM부터 BERT , 등 다양한 모델이 있습니다. 이번에는 KoBERT를 사용해서 Fine-tuning해보았는데, KoBERT는 BERT에 한국어 데이터를 추가로 더 학습시킨 모델로 한국어에 더 좋은 성능을 보이는 것이 특징입니다. 아래 링크에서 모델을 볼 수 있습니다. https://github.com/SKTBrain/KoBERT 분류 카테고리는 총 6가지 입니다. ('경제', '사회', '생활', '스포츠', '연예/문화', '정치') 실행 전 코..

코랩에서 파이토치 실행방법과 기본적인 사용법에 대해 알아보겠습니다. 먼저, 런타임의 유형을 변경해줍니다. 상단 메뉴에서 [런타임]->[런타임유형변경]->[하드웨어가속기]->[GPU]로 변경 이후 아래의 cell을 실행 시켰을 때, torch.cuda.is_avialable() 값이 True가 나와야 합니다. import torch print(torch.__version__) print(torch.cuda.is_available()) import matplotlib.pyplot as plt import numpy as np import scipy as sp np.set_printoptions(precision=3) np.set_printoptions(suppress=True) PyTorch에서는 텐서라는 ..

Imports General import torch # root package from torch.utils.data import Dataset, DataLoader # dataset representation and loading Neural Network API import torch.autograd as autograd # computation graph from torch import Tensor # tensor node in the computation graph import torch.nn as nn # neural networks import torch.nn.functional as F # layers, activations and more import torch.optim as optim ..

네이버나 구글같은 포털에검색을 하면 1초도 안돼서 엄청나게 많은 검색결과가 나온다. 검색 서비스는 어떤 원리로 작동하는것일까? 검색엔진이 정보를 수집하고 저장하는 방법은 물론 각 검색 서비스마다 차이는 있겠지만 작동 방식에는 총 3가지 단계가 있다고 할수있다. 1. 크롤링 - Crawling 2. 인덱싱 - Indexing 3. 랭킹 - Ranking 1. 크롤링 네이버의 화면을 보면 배너 메일 카페 블로그 쇼핑 뉴스 증권 날씨 등등 수많은 링크들이 숨어있다. 화면의 글씨에는 클릭하면 다른 페이지로 넘어가는 링크들이 숨어있는것이다. 크롤링은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출하여 수집하는 것으로, 크롤링을 수행하면 이 모든 링크들을 다 돌아다니고 페이지 안에 있는 정보를 읽어들이게 된다. ..

분류 문제에서 항상 맞닥뜨리게 되는 문제는 아무래도 데이터 불균형이 아닐까 싶다. 한 카테고리만 너무 많거나 너무 적어 다른 카테고리와 차이가 나는 상황에서 그대로 학습시키면 데이터가 적은 카테고리에 대해서는 잘 분류가 되지 않는다. 논문을 쓸 때도 처음에는 17분류를 하고자했지만 데이터 차이가 너무 커 5가지 큰 분류로 나눴었다. 그래도 데이터 증강이 필요해서 몇가지 테스팅을 했던 기억이 난다. 아무튼 지금까지 해본 여러 시도들을 정리해보고자 한다. 자연어 처리에선 대표적으로 아래와 같은 네가지 증강 기법이 존재한다. - SR (Synonym Replacement): 특정 단어를 비슷한 의미의 유의어로 교체 - RI (Random Insertion): 임의의 단어를 삽입 - RS (Random Swap..

다음과 같은 코드 실행 !pip install konlpy from konlpy.tag import Mecab !git clone https://github.com/SOMJANG/Mecab-ko-for-Google-Colab.git %cd Mecab-ko-for-Google-Colab/ !bash install_mecab-ko_on_colab190912.sh 실행 후 마지막 줄을 보면 런타임을 재실행하라고 한다. 재실행후 위의 코드를 다시 실행하지 않고 mecab을 불러오면 된다. Successfully Installed Now you can use Mecab from konlpy.tag import Mecab mecab = Mecab() 사용자 사전 추가 방법 : https://bit.ly/3k0ZH5..

신경망은 학습 시에 최적의 매개변수(가중치와 편향)을 찾아냅니다. 여기서 최적이란 손실 함수가 최솟값이 될 때 매개변수의 값입니다. 그러나 매개변수 공간은 광대하여 어디가 최솟값인지 찾기 힘듭니다. 이런 상황에서 기울기를 잘 이용해 함수의 최솟값 혹은 가장 근접한 값을 함수 값을 점차 줄임으로써 찾으려고 하는 것이 경사법입니다. η(에타)는 신경망에서 학습률입니다. 학습률은 한 번의 학습으로 얼만큼 학습해야 할지, 즉, 매개변수를 얼마다 업데이트할지 정하는 것입니다. 위 식처럼 변수값을 갱신하는 단계를 여러번 거치며 서서히 함수의 값을 줄입니다. 학습률은 0.01,0.001과 같ㅌ이 특정 값을 정해야합니다. 너무 크거나 작으면 좋은 장소를 찾아갈 수 없습니다. 보통은 이 학습률을 변경하면서 올바르게 학습..

학습이란 훈련데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것으로 학습의 목표는 손실함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 것이다. 이를 위한 방법으로 경사하강법이 있다. 신경망의 매개변수는 층을 깁게한 딥러닝의 경우 수억 개를 훨씬 넘을 수도 있다 이 모든 매개변수를 일일이 정해주기는 힘들다. 다행히, 신경망의 특징은 데이터를 보고 학습한다는 것, 즉 가중치 매개변수 값을 데이터를 보고 자동으로 결절한다는 것이다. 이번에는 신경망 학습(데이터로부터 매개변수 값을 정하는 방법)에 대해 설명하고 MNIST셋에서 손글씨 숫자 학습을 구현해보자. 손글씨의 특징을 사람마다 글씨체가 달라 숫자를 제대로 분류하는 알고리즘을 밑바닥부터 설계하기는 힘들다. 그래서 이미지에서 특징(피처)를 ..

저번시간에 언급했듯 출력층에서 사용하는 함수는 분류 -소프트맥스 함수, 회귀 - 항등함수로 갈린다고 했습니다. 이에 대해 자세히 알아보고 구현해봅시다. 항등함수는 입력을 그대로 출력합니다. 소프트맥스는 그림과 같이 모든 입력의 화살표를 받습니다. 즉 모든 출력뉴럭이 각 입력신호에서 영향을 받습니다. 식은 다음과 같습니다. n은 출력층의 뉴런 수 , yk는 그중에서도 k번째 출력을 뜻합니다 . 지수함수 exp()는 큰 값을 내뱉기때문에 오버플로 문제가 발생할 수 있습니다. 따라서 입력신호 중 최댓값(c)를 뺴주겠습니다. import numpy as np a = np.array([0.3,2.9,4.0]) def softmax(a): c=np.max(a-c) exp_a = np.exp(a) sum_exp_a ..

구현해 볼 3층 신경망은 입력층(0층) : 2개, 은닉층(1층): 3개, 두번째 은닉층(2층): 2개, 츨력층(3층)은 2개의 뉴런(노드)로 구성되어 있다. 신경망에서 신호 처리 과정을 살펴보자 자세히 들어가기 전에 표기법부터 짚고 넘어가보자, 가중치와 은늑층의 뉴런 위에는 (1)이 작게 붙어있다. 이는 1층의 가중치, 1층의 뉴런을 뜻하는 번호이다. 또 가중치의 오른쪽 아래 두 숫자 (1 2)는 차례로 다음 층 뉴런과 앞층 뉴런의 인덱스 번호이다. 1 2는 앞층의 2번째 뉴런(x2)에서 다음층의 1번째 뉴런 (a1(1)로 향할 때의 가중치라는 뜻이다. 순서가 '다음 층 번호, 앞 층 번호'임을 잊지 말자! 다시 신호 전달 과정을 보면, 우선 추가된 1은 편향 뉴런이다. 편향은 오른쪽 아래 인덱스가 하나..

넘파이로 다차원 배열을 계산할줄 알면 신경망을 효율적으로 계산할 수 있습니다. 다차원 배열을 숫자의 집합이 기본이 됩니다. 숫자를 N차원으로 나열하는 것 뿐만아니라 한줄로 나열하는것도 다차원 배열의 일부입니다. 1차원 배열은 우리가 익히 알고 있는 리스트 형태의 배열입니다. 배열의 차원수는 np.ndim()으로 확인할 수 있습니다. 또한 배열의 형상은 S.shape로 확인할 수 있죠 shape는 튜플로 반환합니다. 예를들어 2차원 배열일때는 (4,3) 3차원일때는 (4,3,2)와 같은 값을 반환합니다. import numpy as np A = np.array([[1,2],[3,4],[5,6]]) print(A) # [[1 2] # [3 4] # [5 6]] np.ndim(A) #2 A.shape #(3,..