딥러닝의 모든 핵심 개념 정리1

딥러닝이란?

- 인공신경망을 이용해 복잡한 데이터 관계를 찾아내는 머신러닝 기법, 특징을 자동으로 추출하므로 모델 확장성이 높아 머신러닝보다 다양한 문제에 활용할 수 있다. 

- 지도학습, 비지도학습, 강화학습에도 뛰어난 성능을 보이고 있다. 

- 단, 비용과 시간, 데이터가 많이 필요하다. 설정해야 할 파라미터도 많아 최적화가 쉽지 않고. 디버깅도 어렵다. 또한 타깃데이터를 만드는데도 비용이 많이 든다는 한게가 있다. 

 

순방향 신경망(feedforward neural network)

- 다층퍼셉트론을 순방향 신경망, 퍼셉트론은 인공 신경망이라 부른다. 순방향 신경망은 데이터가 서로 독립이라고 가정하며, 데이터를 한 방향으로 전달하는 순방향 연결 구조로 이루어진다. 

- 순방향 신경망은 뉴런들이 모여 게층을 이루고 그 계층이 쌓여 전체 신경망을 이루는 구조로 되어 있다. 계층은 입력계층, 은닉계층 출력계층으로 구분되며 모든 계층은 완전히 연결된다. 

-  노드 간의 연결이 순환을 형성하지 "않는" 인공 신경망이다. 즉, 이는 순환 신경망과 차이가 있다.

- 특정 계층에 속한 뉴런은 같은 입력 데이터에서 서로 다른 특징을 추출하는 역할을 한다. 뉴런의 가중합산은 추출할 특징에 큰 영향을 미치는 데이터를 선택하는 과정이고, 활성 함수는 원하는 형태의 특징을 추출하기 위해 데이터를 비선형적으로 변환하는 과정이다. 

- 순방향 신경망을 설계하려면 모델의 입력과 출력의 형태, 계층별 활성함수의 종류, 네트워크 크기를 고려해야 한다. 

- 순방향 신경망의 입력층은 입력 데이터를 벡터형태로 받아서 다음 층에 전달한다. 입력크기가 n인 벡터라면 입력층은 n개의 뉴런으로 구성한다. 

- 고차원 데이터를 순방향 신경망에 입력하려면 1차원으로 변환해 벡터형태로 만든 후 입력해야 한다. 

 

 

분류와 회귀 문제

- 지도학습의 대표 문제는 분류와 회귀가 있다. 

- 확률모델로 구현하면 이진분류는 베르누이 분포를, 다중분류는 카테고리 분포를 예측하는 모델로 정의할 수 있다. 

베르누이 분포 : 매 시행마다 결과가 2가지 밖에 없다고 할 때, 이러한 실험을 1회 시행하여 일어난 두 가지 결과에 의해 그 값이 각각 0과 1로 결정되는 확률변수 X의 확률분포

이를 신경망으로 구현한다면, 이진분류에는 시그모이드 함수를, 다중분류에는 소프트맥스 함수를 적용하여 타깃의 확률분포를 예측할 수 있을 것이다. 

- 회귀는 가우시안 분포(정규 분포)를 예측하는 모델로 정의할 수 있다. 

- 회귀 모델을 신경망으로 구현한다면 입력데이터를 모델에 입력해서 가우시안 분포의 평균을 예측하고 그 결과 가우시안 분포를 추정한다. 

 

활성 함수 for 은닉층

- 은닉층에 쓸 수 있는 활성 함수는 시그모이드 계열(S자 모양)과 구간 선형 함수로 정의되는 ReLU계열로 구분할 수 있다. 

- 시그모이드 계열은 연산 속도가 느리고 기울기 소실 원인을 제공하므로 좋지 않지만 스쿼싱 기능이 필요한 다양한 구조에서 활용한다.

 - ReLU계열은 선형성이 있어 연산 속도가 바르고 안정적인 학습이 가능하다.  

 

신경망 학습

 

 - 신경망 모델의 크기는 깊이 (=게층 수)와 너비(=계층별 뉴런 수)로 말할 수 있다. 모델의 크기는 그리드 서치나 랜덤 서치와 같은 탐색 기법, 최근에는 NAS와 같은 자동 모델 탐색 방법도 있다. 

- 모델은 이미 검증된 모델을 기본 으로 깔고 모델의 크기를 문제에 맞게 조정하는 방법으로 많이 설계한다. 

- 시그모이드 함수는 분모에 지수 항이 있기 때문에 함수의 양 끝부분에서 그래디언트 포화가 발생하여 그래디언트 소실로 학습이 중단될 수 있다. 단, 분류 모델에서 출력층에 시그모이드나 소프트 맥수 활성 함수를 사용하면서 크로스 엔트로피 손실함수를 사용하면 두 함수가 결합하여 소프트플러스 함수로 바뀌면서 학습이 개선될 수 있다. 

- ReLU와 같이 구간 내에서만 미분이 가능한 함수는 미분 오차를 허용하여 구간이 변경되는 지점에서 우미분과 좌미분 중 하나를 선택해 학습한다. 

- 신경망을 학습한다 = 파라미터를 결정한다.(대부분은 가중치와 편향)

- 학습은 최적화를 통해 실행된다. 회귀에서 손실함수느 평균제곱오차로, 분류의 손실 함수는 크로스 엔트로피로 정의된다. 

- 최적화를 한다는 것은 손실 함수의 최소 지점을 찾는 문제로 최소지점의 파라미터가 최적해가 된다. 

 

경사하강법

- 가장 기복적인 최적화 알고리즘으로, 출발지점에서 기울기를 구해 기울기의 반대방향으로 한걸음 내려가고, 다시 기울기 구하고 내려가는 과정을 반복하면 결국 최소 지점에 도달할 것리라 가정한다. 

- 신경망에 경사하강법을 적용할 때는 연쇄법칙(합성함수의 미분법)을 사용한다. 만약 임의의 가중치에 개해 손실함수를 미분한다면 손실 함수에서 가중치까지 신경망의 역방향으로 실행했던 함수를 따라가며 미분을 계산해서 곱하면 된다. 

 

역전파 알고리즘 

- 신경망에 경사하강법으로 파라미터별로 미분을 계산하면 여러 번 반복하게 된다. 미분계산 중복을 피하려면 손실함수부터 입력층까지 계층별로 미분을 계산하고 다음 층에 미분을 전파한다. 이렇게 미분을 전파하면서 거꾸로 계산하는 방법이 역전파 알고리즘이다. 

- 각 뉴런의 입장에서 활성함수에 대한 미분은 가중치와 입력에 대한 미분의 공통 부분이 된다. 따라서 공통 부분을게산해두고 각 가중치와 입력에 대한 미분을 계산할 때 지역 미분만 계산해서 공통부분과 곱해주면 계산의 중복 없이 미분을 계산할 수 있다. 

- 실제 역전파는 층단위로 실행되며, 계층별로 가중치에 대한 미분을 계산해서 가중치를 업데이트하고 입력에 대한 미분을 계산해서 다음층에 전달한다. 

 

데이터 구성과 훈련 데이터 단위

- 학습 데이터에서 관측 데이터를 구성할 때 범주형 데이터는 클래스별로 비율을 맞춰얗고, 회귀데이터는 근사하는 함수의 범위를 잘 지지해야 한다. 

- 훈련, 검증, 테스트 데이터셋은 관측데이터의 분포를 따르도록 분할해야 한다. 

- 훈련된 모델의 일반화 성능을 검증하려면 반드시 세가지 데이터셋을 상호 배타적으로 분할해야 한다. 

- 미니배치방식으로 훈련하면 배치 방식보다 학습 속도가 빨라져 더 좋다. 미니배치 크기는 GPU메모리를 효율적으로 사용하도록 2의 거듭제곱 수로 정한다. 

 

손실함수

- 모델은 관측 데이터를 잘 설명하는 함수를 표현해야하는데, 이 함수의 형태를 결정하는 것이 손실 함수이다. 

- 손실함수가 관측 데이터를 잘 설명할 수 있는 함수의 파라미터 값을 최적해로  가지려면, 손실함수를 

1. 모델의 오차가 최소화되도록 정의 하거나, 

2. 모델이 추정하는 관측 데이터의 확률이 최대화되도록 최대우도추정(Maximum Likelihood Estimation)방식을 사용한다. 

- 오차 최소화 1 관점에서 손실함수 = 오차의 크기. 

- 최대우도추정에서 손실함수 = 우도(모델이 추정하는 관측데이터의 확률), 이때 우도대신 로그우도를 사용하며, 최종적으로 표준화된 형태를 만들기 위해 음의 로그 우도를 사용한다. 

- 최대우도추정으로 손실 함수를 유도해보면 회귀 문제의 경우 가우시안 분포에서 오차제곱합을 유도할 수 있으며 오차제곱합은 다시 평균제곱오차로 변환하여 사용가능하다. 이처럼 이진분류에서 베르누이분포에서 이진 크로스 엔트로피를 유도할 수 있고, 다중분류에서 카테고리 분포에서 크로스 엔트로피를 유도할 수 있다. 

- 엔트로피는 확률 변수가 얼마나 불확실한지 , 크로스 엔트로피는 두 분포의 차이가 어느 정도인지를 판단하는데 사용한다.