딥러닝 신경망 학습 손실함수(오차제곱합, 크로스 엔트로피 오차)

 

딥러닝과 머신러닝의 차이?

1. 머신러닝은 특성(feature)이 미리 정해져 있지만, 딥러닝은 학습시키면 특성을 추출하도록 학습이 된다. 

2. 머신러닝의 알고리즘 중 하나인 인공신경망을 여러 개 쌓아 깊은 신경망을 만든 것이 딥러닝이다. 

 

 

신경망 학습 = 최적화를 하는 과정

 - input으로 훈련 데이터가 들어가면 output은 최적의 매개변수(가중치)이다. 

신경망 학습 과정 : 

1. 난수로 매개변수 벡터 w 초기화 

2. while True: 

         w에 fit하고, 손실함수 J(w)계산      (J(w)의 조건, J(w)=0 은 정확도가 100%라는의미)

         if J(w)만족스러움 : break

         else: w = w+△w.       (손실함수를 최소화하는 △w 계산, 업데이트 하는 과정)

   w를 저장한다. 

 

 

손실함수

 - 손실함수가 최적해를 찾기위한 지표이다. 

 - 일반적으로 오차제곱합, 크로스 엔트로피 오차를 사용한다. 

 

1.  오차제곱합

(yk: 출력(추정한 값), tk: 정답 레이블 , k: 데이터의 차원 수)

즉, (원소의 출력 - 정답)^2 의 총합이다. 

0.5 * np.sum((y-t)**2)

 

2. 크로스 엔트로피 오차(CEE)

log는 밑이 e인 자연로그

delta = 1e-7
-np.sum(t*np.log(y+delta))

 

왜 정확도가 아닌 손실함수를 설정하는가?

결론부터 말하자면, 정확도의 미분값은 대부분의 장소에서 0이 되어 매개변수를 갱신할 수 없다. 

신경망 학습에서 최적의 매개변수(가중치) 탐색은 손실함수의 최솟값 찾기와 같다. 이 때 매개변수의 미분(기울기)를 계산하고, 이 미분값을 단서로 매개변수의 값을 조금씩 바꿔가며 최적의 값을 탐색한다. (경사하강법) 그래서, 매개변수의 손실함수의 미분값이란 매개변수를 조금씩 변화했을 때 손실함수의 값은 어떻게 변화하는가를 나타낸다. 만약, 미분값이 음수이면, 매개변수를 양의 방향으로 변환해 손실함수를 최소화할 수 있다. 그러나 미분값이 0이면, 어느쪽으로 갱신시켜도 손실함수의 값은 줄어들지 않는다. 이때 갱신을 멈춘다. 

 

정확도의 미분값은 대부분의 장소에서 0이 되는 이유?

 

정확도를 지표로 하면, 매개변수를 조정해도 값이 훅훅 뛴다(불연속적이고 급변하는 값을 가짐), 이에 비해 손실함수는 폭이 적게, 연속적으로 변화한다. 이는 계단함수를 활성화함수로 쓰지 않는 이유와 같다. 

계단함수(a)는 대부분의 장소에서 기울기가 0이 어서 손실함수를 지표로 해도 의미 없다. 시그모이드 함수(b)는 기울기가 0이 되는 장소가 없어 신경망이 올바르게 학습할 수 있다.