신경망 학습 - 손실함수 오차제곱합, 교차 엔트로피 오차

학습이란 훈련데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것으로 학습의 목표는 손실함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 것이다. 이를 위한 방법으로 경사하강법이 있다. 

신경망의 매개변수는 층을 깁게한 딥러닝의 경우 수억 개를 훨씬 넘을 수도 있다 이 모든 매개변수를 일일이 정해주기는 힘들다. 다행히, 신경망의 특징은 데이터를 보고 학습한다는 것, 즉 가중치 매개변수 값을 데이터를 보고 자동으로 결절한다는 것이다. 이번에는 신경망 학습(데이터로부터 매개변수 값을 정하는 방법)에 대해 설명하고 MNIST셋에서 손글씨 숫자 학습을 구현해보자.

 

손글씨의 특징을 사람마다 글씨체가 달라 숫자를 제대로 분류하는 알고리즘을 밑바닥부터 설계하기는 힘들다. 그래서 이미지에서 특징(피처)를 추출하고 그 특징의 패턴을 머신러닝 기술로 학습하는 방법을 쓸 수 있다. 특징은 입력 데이터에서 보질적인 데이터를 정확하게 추출할 수 있는 변환기다. 이미지의 특징은 보통 벡터로 기술하고, CV에서는 SIFT, SURF, HOG 등의 특징을 많이 사용한다. 이런 특징을 사용해 이미지를 벡터화하고 이 벡터를 가지고 지도학습의 대표 분류 기법인 SVM, KNN 등으로 학습이 가능하다. 

데이터로부터 규칙을 찾는 일은 기계가 담당하지만, 이미지를 벡터로 변환할 때 사용하는 특징은 여전히 사람이 설계한다. 

회색은 사람이 개입하지 않음을 의미한다. 

 

신경망은 앞선 방법들과 다르게 기계가 특징까지 스스로 학습한다. 신경망의 이점은 모든 문제를 같은 맥락에서 풀 수 있다는 점이다. 숫자 1을 인식하는 문제, 개를 인식하거나 사람의 얼굴을 인식하는 문제든 신경망은 그저 주어진 데이터를 온전히 학습하고 패턴을 발견하고자 한다. 즉 신경망을 모든 문제를 주어진 데이터 그대로 입력으로 쓰는 end-to-end 방식으로 학습할 수 있다. 

 

손실 함수

신경망 성능의 나쁨을 표시하는 지표로, 현재 신경망이 훈련데이터를 얼마나 못처리하고 있는지 보여준다. 

신경망에서는 손실함수로 최적의 매개변수를 탐색한다. 사용자 정의 함수를 사용할 수 있지만 일반적으로는 오차제곱합과 교차 엔트로피 오차를 사용한다. 

 

오차제곱합

yk: 신결망의 출력(신경망이 추정한 값)

tk: 정답 레이블

k: 데이터의 차원 수

예를 들어, 손글씨 인식 에서 yk 와  tk는 다음과 같은 원소 10개짜리 데이터이다. 

y=[0.1, 0.05,0.6,0.0,0.05,0.1,0.0,,0.0,0.0]

t=[0,0,1,0,0,0,0,0,0,0]

원소들은 첫번째 인덱스부터 숫자 0,1,2,,,,순일때의 값이다. 여기에 신경망 출력 y는 소프트맥수 함수의 출력값이다. t는 원핫인코딩 방식으로, 정답이 2임을 가리키고 있다. 신경망에 따르면 2일 확률은 0.6이다. 

오차제곱합은 각 원소의 출력과 정답 레이븡의 차를 제곱해 그 총합을 구한다. 오차가 작을수록 정답에 가깝다. 

def sum_squares_error(y,t):
	return 0.5* np.sum((y-t)**2)
   
sum_squares_error(np.array(y),ap.array(t))

 

 

교차 엔트로피 오차

log는 밑이 e인 자연로그로, 실질적으로 정답일 때 추정의 자연로그를 계산하는 식이다.

def cross_entropy_error(y,t):
	delta= 1e-7
    return -np.sum(t * np.log(y+delta))

아주작은 델타값을 더한 이유는 np.log()에 0이 들어가면 -inf 값이 나오기 때문이다. 

 

 

훈련 데이터 모두에 대한 손실함수의 합을 계산하려면 시간이 좀 걸리기에 일부만 학습하는 미니배치 학습을 진행한다.

np.random.choice(60000,10)로 무작위로 들어갈 인덱스를 뽑을 수 있다. 0이상 60000미만 중 10개 숫자