넘파이로 3층 신경망의 순방향 계산 구현

구현해 볼 3층 신경망은 입력층(0층) : 2개, 은닉층(1층): 3개, 두번째 은닉층(2층): 2개, 츨력층(3층)은 2개의 뉴런(노드)로 구성되어 있다. 신경망에서 신호 처리 과정을 살펴보자

자세히 들어가기 전에 표기법부터 짚고 넘어가보자, 가중치와 은늑층의 뉴런 위에는 (1)이 작게 붙어있다. 이는 1층의 가중치, 1층의 뉴런을 뜻하는 번호이다. 또 가중치의 오른쪽 아래 두 숫자 (1 2)는 차례로 다음 층 뉴런과 앞층 뉴런의 인덱스 번호이다. 1 2는 앞층의 2번째 뉴런(x2)에서 다음층의 1번째 뉴런 (a1(1)로 향할 때의 가중치라는 뜻이다. 순서가 '다음 층 번호, 앞 층 번호'임을 잊지 말자!

 

---

다시 신호 전달 과정을 보면, 우선 추가된 1은 편향 뉴런이다. 편향은 오른쪽 아래 인덱스가 하나밖에 없다. 이는 앞 층의 편향 뉴런이 하나이기 때문이다. 

a1(1)을 수식으로 나타내보면, 

이를 간소하게 나타내면, 다음과 같습니다. 

위 식을 파이썬으로 구현해봅시다

import numpy as np
X=np.array([1.0,0.5])
W1=np.array([0.1,0.3,0.5],[0.2,0.4,0.6])
B1=np.array([0.1,0.2,0.3])

A1 = np.dot(X,W1)+B1

A1을 계산했으면 활성화함수의 처리도 살펴봅시다

그림과 같이 은닉층에서의 가중치 합(가중치와 편향의 총합)은 a로 표기하고 활성화 함수h()으로 변환된 신호는 z()라고 표현합니다. 활성화함수는 시그모이드(저번시간에서 정의했습니다)를 사용해보겠습니다. 

Z1=sigmoid(A1)

이어서 2층으로 가는 과정을 구현해보겠습니다. 

W2 = np.array([[0.1,0.4],[0.2,0.5],[0.3,0.6]])
B2 = np.array([0.1,0.2])

A2 = np.dot(Z1,W2)+B2
Z2=sigmoid(A2)

 

마지막으로 2층에서 출력층으로 신호 전달입니다. 앞선 과정과 다른점은 활성화 함수인데, 여기더는 항등함수를 사용하겠습니다. 그림에서도 다름을 명시하기위해 h가 아닌 시그마로 기호표기했습니다. 

def identity_func(X):
	return x

W3=np.array([[0.1,0.3],[0.2,0.4]])
B3=np.array([0.1,0.2])

A3=np.dot(Z2, W3)+B3
Y = identity_func(A3) # OR Y = A3

출력층의 활성화함수는 풀고자하는 문제의 성질에 맞게 정합니다. 예를 들어 회귀에는 항등함수, 바이너리 분류에는 시그모이드, , 다중 클래스 분류는 소프트맥스 함수를 사용하는 것이 일반적입니다. 자세한 출력층 구현은 다음시간에서 살펴보겠습니다. 

 

최종 코드 정리

def init_network():
	network = {}
    network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
    network['b1'] = np.array([0.1, 0.2, 0.3])
    network['W2'] = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])
    network['b2'] = np.array([0.1, 0.2])
    network['W3'] = np.array([0.1, 0.3], [0.2, 0.4]])
    network['b3'] = np.array([0.1, 0.2])
    
    return network
    
def forward(network, x):

	W1, W2, W3 = network['W1'], network['W2'], network['W3']
    b1, b2, b3 = network['b1'], network['b2'], network['b3']
    
    a1 = np.dot(x, W1) + b1
    z1 = sigmoid(a1)
    a2 = np.dot(z1, W2) + b2
    z2 = sigmoid(a2)
    a3 = np.dot(z2, W3) + b3
    y = identity_function(a3)
    
    return y

network = init_network()
x = np.array([1.0, 0.5])
y = forward(network, x)
print(y) # [0.31682708  0.69627909]

• 신경망 구현의 관례에 따라 가중치만 대문자, 그 외 편향과 중간 결과 모두 소문자
• init_network() : 가중치와 편향을 초기화, 이를 딕셔너리 변수인 network 에 저장
• 딕셔너리 변수 network : 각 층에 필요한 매개변수(가중치와 편향) 저장
• forward() : 입력 신호를 출력으로 변환하는 처리 과정 구현, 신호가 순방향으로 전달(순전파)