[딥러닝] 경사하강법(Gradient Descent)

오차의 뱐화에 따라 이차함수 그래프를 만드록 적절한 학습률을 설정해 미분 값이 0인 지점을 구하는 것.

최소제곱법을 쓰지 않고 평균제곱오차, 경사하강법으로 원하는 값 구하기 가능

 

• 함수의 기울기a를 기울기가 낮은 쪽으로 계속 이동시켜 최솟값 m에 이를 때까지 반복한다.
• 최솟값 m에서의 순간기울기 , 기울기가 0 = 미분값이 0인 지점 찾기
• 최적의 b, y절편 구할 때도 사용

 

1. a1에서 미분

2. 구한 기울기의 반대 방향(기울기가 +면 음의 방향)으로 얼마간 이동시킨 a2에서 미분

3. 미분값이 0이 나올 때까지 반복

 

 

 

기울기의 반대 방향으로 이동시 너무 멀리 이동시키면 a값이 위로 치솟아버림

 

학습률 - 이동 거리를 정해주는 것. 최적의 학습률을 찾아야 한다.

 

---

 

 

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

#x,y데이터값
data=[[2,81],[4,93],[6,91],[8,97]]
x = [i[0] for i in data]
y = [i[1] for i in data]

#그래프로 나타내기
plt.figure(figsize=(8,5)
plt.scatter(x,y)
plt.show()

#x,y리스트를 numpy배열로 바꾸기(인덱스를 주어 하나씩 불러와 계산하기 위해)
xdata=np.array(x)
ydata=np.array(y)

#초기화
a=0
b=0


#학습률 정하기
lr=0.05

#몇번 반복될지(0부터 세므로 +1해주기)
epochs =2001

#경사하강법
for i in range(epochs):
	y_pred = a* xdata+b
    error =ydata-y_pred   #오차
    a_diff = -(1/len(xdata))* sum(xdata *(error)) #오차함수 a로 미분한 값
    b_diff = -(1/len(xdata))* sum(ydata - y_pred) #오차함수 b로 미분한 값
    
    a = a-lr *a_diff #학습률 곱해 기존 a,b값 업데이트
    b = b-lr *b_diff    
    
    if i%100 ==0:
    	print("epoch=%.f, 기울기=%.04f, 절편=%.04f" % (i,a,b)) #100번 반복될때마다 현재 a,b출력
 
 
 #업데이트값으로 그래프 다시그리기
 y_pred = a* xdata +b
 plt.scatter(x,y)
 plt.plot([min(xdata),max(xdata)],[min(y_pred),max(y_pred)]
 plt.show()