신경망 출력층 구현

저번시간에 언급했듯 출력층에서 사용하는 함수는 분류 -소프트맥스 함수, 회귀 - 항등함수로 갈린다고 했습니다. 이에 대해 자세히 알아보고 구현해봅시다. 

항등함수는 입력을 그대로 출력합니다. 

소프트맥스는 그림과 같이 모든 입력의 화살표를 받습니다. 즉 모든 출력뉴럭이 각 입력신호에서 영향을 받습니다. 식은 다음과 같습니다.

n은 출력층의 뉴런 수 , yk는 그중에서도 k번째 출력을 뜻합니다 . 지수함수 exp()는 큰 값을 내뱉기때문에 오버플로 문제가 발생할 수 있습니다. 따라서 입력신호 중 최댓값(c)를 뺴주겠습니다. 

import numpy as np
a = np.array([0.3,2.9,4.0])

def softmax(a):
	c=np.max(a-c)
    exp_a = np.exp(a)
    sum_exp_a = np.sum(exp_a)
    y = exp_a/sum_exp_a
    
    return y

소프트맥스 함수의 출력은 0부터 1.0사이의 실수 입니다. 또한 총합은 1입니다. 이 성질 덕분에 소프트맥수 함수의 출력을 확률로 해석할 수 있습니다. 주의점으로 소프트맥스 함수를 적용해도 각 원소의 대소관계는 변하디 않기에 학습과정에서는 소프트맥스를 쓰지만, 추론단계(학습한 모델로 분류할때)에서는 소프트맥스함수를 생략하는 것이 일반적입니다. 

출력층의 뉴런 수는 문제에 맞게(분류하는 클래스 수) 정합니다. 입력 이미지를 0~9까지 숫자로 분류하는 문제는 출력층 뉴련수가 10이 되겠죠