[딥러닝] 신경망의 구조

신경망

 

입력 레이어 - 학습 데이터(입력 데이터) 받는 레이어

출력 레이어 = 학습 결과 출력

중간 레이어(은닉 레이어) = 데이터에서 특징량을 추출하는 레이어

 

각 레이어에는 "○"로 표현되는 노드 배치, 노드끼리는 "-"로 표현되는 엣지(링크)로 연결 

엣지는 가중치라고 부르는 값을 가지고 있다.

 

순전파 = 입력레이어부터 오른쪽으로 계산이 이루어짐

역전파 = 출력레이어부터 왼쪽으로 계산이 이루어짐

 

 

 

---

순전파의 구조

 

바로 전 레이어에 있는 노드 값과 엣지의 가중치를 곱한 뒤 모든 결과 더하기

더한 값을 활성화 함수로 변환 -- 해당 노드의 값!

 

다음 노드로 전달한다.

 

학습타입에 따른 활성화함수:

분류 - 소프트맥스 함수

회귀(수요 예측..) - 항등 함수

 

 

 

역전파의 구조

 

순전 파에서 계산한 결과를 정답 데이터와 비교해서 오차함수를 이용해 오차를 구한다.

(오차 = 실제값(정답 데이터)과 예측 값(출력 레이어 결과)의 차이)

 

학습타입에 따른 오차함수:

분류 - 교차 엔트로피

회귀 - 제곱 오차

 

오차가 작아지도록 엣지의 가중치 조금씩 조정

 

How?

경사 하강법 - 오차가 적어지는 방향으로 가중치 조정

일반적으로 학습 계수는 0.001~0.1 사이 값

 

오차 역전파법 - 

오차를 최소로 만들기 위해 가중치를 조정하면서 데이터를 출력 레이어에서 입력 레이어 방향으로 전파하는 것

 

 

입력 데이터를 모두 사용해서 학습하는 배치 학습 (일괄 학습)시 - 국소 최저점(실제 최저점이 아닌 위치)에 빠질 위험 있음

 

미니 배치 학습 권장

입력 데이터를 분할하여 학습

미니 배치 + 경사 하강법 == 확률적 경사 하강법

일반적 미니 배치 크기 10~100개

 

 

 

 

 

순전파 역전파 반복 학습하면 모델의 정밀도 상승