활성화함수 - 시그모이드 함수, 계단 함수, ReLu 함수

앞서 봤던 퍼셉트론의 함수는

임계값을 경계로 출력이 나뉘는 것을 볼 수 있다. 이런 활성화 함수를 계단 함수라고 한다. 즉, 퍼셉트론에서는 활성화함수로 계단 함수를 사용한다. 퍼셉트론의 기반이 되는 구조는 다음과 같고, 이를 TLU라 한다. 

TLU : 입력의 가중치 합을 계산하고 계다 함수를 적용하는 인공 뉴런

퍼셉트론에서는 계단 함수가 아닌 시그모이드 함수를 활성화 함수로 사용한다. 

e는 자연상수로 2.7182...의 값을 가지고 있다. 신경망에서는 시그모이드 함수를 활성화 함수로 사용하여 신호를 변환하고, 그 변환된 신호를 다음 뉴런에 전달한다. 퍼셉트론과 신경망의 주된 차이는 활성화 함수를 무엇으로 쓰느냐의 차이이다. 이 두 함수를 비교해보자.

 

계단 함수

파이썬으로 구현한 계단 함수는 입력이 0을 넘으면 1을 출력하고, 그 외에는 0을 출력한다.

def stepfunc(x):
	y=x>0
    retuen y.astype(np.int)

입력변수로 numpy 배열도 지원할수있다. 

 

시그모이드 함수 파이썬 구현

def sigmoid(x):
	return 1/(1+np/exp(-x))

 

시그모이드 함수와 계단 함수 차이

눈에 보이는 차이는 아마 매끄러움 일 것이다. 이와 관련해서 계단함수는 0또는 1 둘중 하나의 값만 출력하는 반면 시그모이드는 여러 실수들을 반환할 수 있다(0.245,0.357,,,등등)

공통점은 둘다 0에서 1사이의 값을 출력한다는 것이다. 또한 둘은 비선형 함수이다. (선형함수란 입력을 받았을 때 출력이 입력의 상수배만큼 변하는 함수이다. 비선형 함수는 선형이 아닌, 직선 1개로 ㅛ현이 불가능한 함수이다. )

 

신경망에서는 활성화함수로 비선형 함수를 사용해야 한다. 선형함수를 사용하면 신경망의 층을 깊게 하는 의미가 없기 때문이다. 

 

ReLU 함수

최근에는 신경망에서 시그모이드가 아닌 렐루 함수를 주로 사용한다. 렐루는 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0이하면 0을 출력하는 함수이다. 파이썬으로 구현하면 다음과 같다. 

def rellu(x):
	return np.maximum(0,x)