딥러닝 미분 편미분 경사하강법

미분에 대해서는 고등학교에 잠깐 배웠었는데(문과 출신;;) 딥러닝 공부하면서 기울기 구하면서 최적화하는 과정에서 미분이 쓰인다고 한다. 개념은 이해됐는데 그 과정을 잘 이해가 되지 않아 미분부터 정리해보려 한다. 

 

미분 (differentiation)

= 특정 한 순간의 변화량

미분 수식

즉 , x에 대한 f(x)의 변화량을 나타내는 수식이다. 

그러나 이렇게 계산하면 반올림 오차 문제가 생긴다. h에 너무 작은 값을 대입하면 컴퓨터가 계산할 때 생략해버린다. 따라서 h 는 10의 -4승 정도가 적당하다. 그리고 x+h와 x의 차분(임의 주 범에서의 함수값의 차이)를 계산할 때도 오차가 있다. h를 무한히 0으로 좁할 수 없기 때문이다. 이 오차를 해결하기 위해 중심차분(중앙차분)을 사용하여 f(x+h)-f(x-h)의 차분을 계산한다. 이를 파이썬으로 구현하면 다음과 같다. 

def diff(f,x):
 h = 1e-4
 return (f(x+h)-f(x-h) / (2*h))

 

이를 활용하여 간단한 함수 y = 0.01x^2+0.1x 에서 x=5일 때 미분을 구하면, 

def func1(x):
	return 0.01*x**2 + 0.1*x
    
diff(func1,5)

결과로 나온 값 1.999....는 x가 5일 때 함수의 변화량 즉, 함수의 기울기 이다. 이 값을 기울기로 하는 직선이 바로 접선이 된다. 

 

편미분 

변수가 여럿인 함수에 대한 미분 

예를 들어 변수가 x,y이 두가지인 함수가 있다고 생각해보자. 

x에 대한 미분 을 한다고 하면 y는 상수라고 생각하고 미분하면

좌표(1,1)에서 z의 x에 대한 편미분은 3이다 = (1, 1)에서의 접선의 기울기는 3이다.

 

 

만약 두 변수의 편미분을 동시에 계산하고 싶다면?

위와 같은 형태로 모든 변수의 편미분을 벡터화 (= 기울기)하여 계산한다. 

 

경사하강법

신경망의 학습과정은 최적의 매개변수를 찾는 것이다. 그렇기 위해서는 손실함수의 최솟값을 찾아야 하고 우리는 이를 기울기로 찾는다. 

경사하강법은 다음과 같은 과정의 반복이다!

현 위치에서 기울어진 방향으로 일정거리이동 -> 기울기 구함( 업데이트 ) -> 또 기울어진 방향으로 조금 이동 -> 기울기 구함 ----(반복)

이를 수식으로 나타내면, 

n(에타)는 학습률로 매개변수를 갱신하는 양이다. 이 값은 0.001과 같은 특정 값으로 미리 정해야 하고, 사람이 정하는 파라미터이기에 하이퍼 파라미터라고 부른다. 자동ㅇ으로 학습되어 도출되는 매개변수인 가중치와 편향은 하이퍼 파라미터가 아니다!

 

신경망의 기울기 예시 (shape : 2x3ㄹ, 가중치 w, 손실함수 L인 신경망)

가중치와 경사 형상은 같다

경사의 원소들은 각 원소에 대한 편미분 값 (= 기울기)로 이루어진 것을 볼 수 있다.