[딥러닝]신경망 (w. Keras) , 퍼셉트론, 활성화 함수(시그모이드, ReLU)

신경망은 포유류의 신경계에서 영감을 받은 머신러닝 모델의 한 종류

각 신경망은 서로 연결된 뉴런들로 구성되어 있으며, 특정상태가 되면 메세지를 교환하는 계층(layer)로 구성된다. 

 

초기 연구는 1950년대 후반 퍼셉트론에서 시작했다.

퍼셉트론은 두 계층으로 간단한 연산에 사용했고, 1960년대 후반에 역전파 알고리즘의 소개로 다층신경망학습이 가능해지면서 확장됐다. 이러한 개선의 역사는 많은 수의 뉴런 계층을 갖는 신경망 종류인 딥러닝을 위한 발판이 됐다. 

 

케라스Keras - 딥러닝 계산을 위한 작고 효율적인 파이썬 라이브러리

 

퍼셉트론

 

퍼셉트론은 n개의 크기를 갖는 입력 벡터(x1,x2,,,,,xn)가 주어지면 예(1)이나 아니오(0)을 출력하는 간단한 알고리즘

f(x)  = 1   :  wx+b>0            0  :  otherwisew: 가중치 벡터, wx는 내적, b는 바이어스(편향)

 

 

케라스 모델 Sequential

- 가장 간단한 모델 , 순차 케라스모델- 12개의 인공뉴런을 갖고, 8개의 입력 변수(=특징)를 받는 단일 계층 생성 코드:

from keras.layers.core import Dense
from keras.models import Sequential
model = Sequential()
model.add(Dense(12, input_dim=8, kernel_initializer="random_uniform")

random_uniform = 가중치는 (-0.05,0.05)로 균등하게 작은 임의의 값으로 초기화, 즉 주어진 간격 내의 모든 값이 동드앟게  나올 수 있음

random_uniform = 가중치는 평균이 0, 표준편차 0.05로, 가우시안 분포에 따라 초기화

zero = 모든 가중치를 0으로 초기화

이 외 : https://keras.io.initializations 

 

 

다층 퍼셉트론 : 여러 계층이 있는 경우

첫 번째 계층의 각 노드들이 입력 받아 다음 계층으로 전달, 그 결과 하나의 뉴런으로 구정되어 최종 계층으로 전달되는 방식

이 신경망을 덴스라고 부르며, 계층의 각 뉴런들이 이전 계층에 있는 모든 뉴런과 연결되고, 다음 계층에 있는 모든 뉴런에 연결됨을 의미함

 

한계:

퍼셉트론은 점진적으로 학습할 수 없다. 점진적으로 0에서 1로 변화하는 함수가 필요하다. -> 활성화 함수 

 

 

활성화함수

Keras로 테스트해보면서 활성화함수의 점진적 변화를 조금씩 적용해보념서 신경망의 오차를 줄여 학습 알고리즘으로 개발할 수 있다. 

 

1. 시그모이드

0,1로 출력하는 연속덕인 함수

뉴런은 시그모이드로 비선형 함수를 계산할 수 있다.  

 

2.ReLU

음수일때 값이 0이고 양수일 때는 선형으로 증가한다.