TIL

딥러닝의 가장 기본적인 단위는 벡터, 행렬, 텐서입니다. 1차원으로 구성된 값(1D)은 벡터, 2차원으로 구성된 값을 행렬(Matrix)라고 합니다. 그리고 3차원이 되면 우리는 텐서(Tensor)라고 부릅니다. 사실 우리는 3차원의 세상에 살고 있으므로, 4차원 이상부터는 머리로 생각하기는 어렵습니다. 4차원은 3차원의 텐서를 위로 쌓아 올린 모습으로 상상해보겠습니다. 5차원은 그 4차원을 다시 옆으로 확장한 모습으로 생각해봅시다. 6차원은 5차원을 뒤로 확장한 모습으로 볼 수 있습니다. 텐서 중 가장 전형적인 2차원 텐서를 예시로 봅시다. 텐서의 크기 |t| = (Batch size, dim) 훈련 데이터 하나의 크기를 256이라고 해봅시다. [3, 1, 2, 5, ...] 이런 숫자들의 나열이 25..

미분에 대해서는 고등학교에 잠깐 배웠었는데(문과 출신;;) 딥러닝 공부하면서 기울기 구하면서 최적화하는 과정에서 미분이 쓰인다고 한다. 개념은 이해됐는데 그 과정을 잘 이해가 되지 않아 미분부터 정리해보려 한다. 미분 (differentiation) = 특정 한 순간의 변화량 즉 , x에 대한 f(x)의 변화량을 나타내는 수식이다. 그러나 이렇게 계산하면 반올림 오차 문제가 생긴다. h에 너무 작은 값을 대입하면 컴퓨터가 계산할 때 생략해버린다. 따라서 h 는 10의 -4승 정도가 적당하다. 그리고 x+h와 x의 차분(임의 주 범에서의 함수값의 차이)를 계산할 때도 오차가 있다. h를 무한히 0으로 좁할 수 없기 때문이다. 이 오차를 해결하기 위해 중심차분(중앙차분)을 사용하여 f(x+h)-f(x-h)의..

딥러닝과 머신러닝의 차이? 1. 머신러닝은 특성(feature)이 미리 정해져 있지만, 딥러닝은 학습시키면 특성을 추출하도록 학습이 된다. 2. 머신러닝의 알고리즘 중 하나인 인공신경망을 여러 개 쌓아 깊은 신경망을 만든 것이 딥러닝이다. 신경망 학습 = 최적화를 하는 과정 - input으로 훈련 데이터가 들어가면 output은 최적의 매개변수(가중치)이다. 신경망 학습 과정 : 1. 난수로 매개변수 벡터 w 초기화 2. while True: w에 fit하고, 손실함수 J(w)계산 (J(w)의 조건, J(w)=0 은 정확도가 100%라는의미) if J(w)만족스러움 : break else: w = w+△w. (손실함수를 최소화하는 △w 계산, 업데이트 하는 과정) w를 저장한다. 손실함수 - 손실함수가 ..

파이썬은 객체지향 언어이다. 객체지향 언어는 서로 관련이 있는 변수와 함수를 하나로 묶을 수 있는 클래스라는 기능을 제공한다. 예시를 통해 살펴보자 from gtts import gTTS import playsound tts = gTTS(text=news, lang='ko') tts.save("news1.mp3") playsound.playsound("news1.mp3", True) https://pypi.org/project/gTTS/ 객체지향 프로그래밍의 일반적 절차 1. 모듈에서 클래스를 불러온다. (import로 클래스(gTTs)를 불러옴) 2, 클래스의 객체(인스턴스 변수)를 만든다 gTTS()로 클래스의 tts라는 객체를 만듦 3. 객체의 함수를 호출해 작업을 한다. 객체가 제공하는 .save..

1. 언어 Python(파이썬) 튜토리얼 : https://docs.python.org/ko/3/tutorial/index.html 2. 라이브러리 관리 Pypl(파이파이) 다양한사람들이 개발한 라이브러리는 한곳에 모아놓은 웹사이트 https://pypi.org/ PyPI · The Python Package Index The Python Package Index (PyPI) is a repository of software for the Python programming language. pypi.org 3. 라이브러리 1️⃣ 넘파이(Numpy) - 1차원 벡터, 2차원 행렬 을 넘어 n차원 배열도 지원함, 배열 표현, 연산 역행렬과같은 선형대수 연산 기능도 있음. 주로 훈련 집합, 신경망의 가중치, ..

코랩에서 파이토치 실행방법과 기본적인 사용법에 대해 알아보겠습니다. 먼저, 런타임의 유형을 변경해줍니다. 상단 메뉴에서 [런타임]->[런타임유형변경]->[하드웨어가속기]->[GPU]로 변경 이후 아래의 cell을 실행 시켰을 때, torch.cuda.is_avialable() 값이 True가 나와야 합니다. import torch print(torch.__version__) print(torch.cuda.is_available()) import matplotlib.pyplot as plt import numpy as np import scipy as sp np.set_printoptions(precision=3) np.set_printoptions(suppress=True) PyTorch에서는 텐서라는 ..

구현해 볼 3층 신경망은 입력층(0층) : 2개, 은닉층(1층): 3개, 두번째 은닉층(2층): 2개, 츨력층(3층)은 2개의 뉴런(노드)로 구성되어 있다. 신경망에서 신호 처리 과정을 살펴보자 자세히 들어가기 전에 표기법부터 짚고 넘어가보자, 가중치와 은늑층의 뉴런 위에는 (1)이 작게 붙어있다. 이는 1층의 가중치, 1층의 뉴런을 뜻하는 번호이다. 또 가중치의 오른쪽 아래 두 숫자 (1 2)는 차례로 다음 층 뉴런과 앞층 뉴런의 인덱스 번호이다. 1 2는 앞층의 2번째 뉴런(x2)에서 다음층의 1번째 뉴런 (a1(1)로 향할 때의 가중치라는 뜻이다. 순서가 '다음 층 번호, 앞 층 번호'임을 잊지 말자! 다시 신호 전달 과정을 보면, 우선 추가된 1은 편향 뉴런이다. 편향은 오른쪽 아래 인덱스가 하나..

인공신경망(ANN, artificial neural network)은 딥러닝의 핵심으로, 뇌의 뉴런의 연결에서 영감을 받은 머신러닝 모델입니다. 인공신경망은 성능과 확장성이 좋아 이미지 분류, 음성인식 서비스, 추천, 강화학습등 대규모 머신러닝 문제의 성능을 높이는데 사용됩니다. a는 생물학적인 뉴런의 그림입니다. c처럼 뉴런의 시냅스는 또 다른 뉴런과 이어져 있습니다. 뇌에는 수십억개의 거대한 뉴런이 연결되어 있습니다. 이러한 생물학적 뉴런에서 착안한 모델이 인공 뉴런입니다. 퍼셉트론 간단한 인공 신경망구조 중 하나로, 다수의 입력을 받으면 1개의 신호를 출력하는 구조로 되어있습니다. 1 또는 0 둘중 하나를 출력하는 퍼셉트론을 생각해봅시다. x1,x2 : 입력 신호, w1,w2: 가중치(각 신호의 영..

원핫인코딩 - 숫자가 아닌 범주형 특징을 숫자형으로 표현하는 방법 - 예를 들어, [0-9]의 d값을 갖는 범주형 숫자는 d번째 위치만 1로 하고 나머지는 항상 0값을 갖는 벡터로 인코딩할 수 있다. - 학습 알고리즘이 수치형 함수를 처리하게 작성됐을 때 데이터마이닝에서 사용한다. 소프트맥스 - 임의의 실수 값을 갖는 k차원의 벡터를 (0,1)사이의 실수 값으로 축소한다. 모델을 정의한 다음, 모델을 텐서플로에서 실행할 수 있도록 컴파일해야한다. 컴파일 과정에서의 선택사항 : - 옵티마이저(모델 학습할 때 가중치 업데이트 알고리즘) - 최적화하는데 사용할 목적함수 지정 - 학습한 모델 평가 목적함수 MSE - 예측 값과 실제 값 차이의 평균 제곱 오차 이진 크로스엔트로피 - 이진로그손실. 이진 레이블 예..

신경망은 포유류의 신경계에서 영감을 받은 머신러닝 모델의 한 종류 각 신경망은 서로 연결된 뉴런들로 구성되어 있으며, 특정상태가 되면 메세지를 교환하는 계층(layer)로 구성된다. 초기 연구는 1950년대 후반 퍼셉트론에서 시작했다. 퍼셉트론은 두 계층으로 간단한 연산에 사용했고, 1960년대 후반에 역전파 알고리즘의 소개로 다층신경망학습이 가능해지면서 확장됐다. 이러한 개선의 역사는 많은 수의 뉴런 계층을 갖는 신경망 종류인 딥러닝을 위한 발판이 됐다. 케라스Keras - 딥러닝 계산을 위한 작고 효율적인 파이썬 라이브러리 퍼셉트론 퍼셉트론은 n개의 크기를 갖는 입력 벡터(x1,x2,,,,,xn)가 주어지면 예(1)이나 아니오(0)을 출력하는 간단한 알고리즘 f(x) = 1 : wx+b>0 0 : o..