[딥러닝] 선형 회귀

선형 회귀(linear regression) : 가장 휼륭한 예측선 긋기

 

독립 변수(독립적으로 변할 수 있는 값)를 사용해 종속 변수(독립 변수에 따라 변하는 값)의 움직임을 예측하고 설명하는 일.

 

단순 선형 회귀 (simple linear regression) : 하나의 독립 변수 만으로 종속 변수 값 설명\

다중 선형 회귀 ( multiple linear regression) : 여러개 독립 변수 필요

 

 

ex)   공부량에 따른 성적 예측 :  공부한시간(x) 에 따른 성적(y)

x={2,4,6,8}
y={81,93,91,97}

y= ax+b

x: 독립변수 y: 종속변수
정확하게 게산하려면 상수 a,b값을 알아야 한다.
정확한 a,b값을 따라 움직이는 직선에 x값을 대입하면 성적 예측이 가능

선형 회귀는 결국 최적의 a,b값을 찾아내는 작업

 

 

최소 제곱법 (method of least squares) : 주어진 x 값이 하나일 때 적용

 

 

 

 

x값: 입력값 (공부한 시간)

y값: 출력값 (성적)

x평균 = (2+4+6+8) ÷ 4 =5

y평균 = (81+93+91+97) ÷ 4=90.5

 

기울기 a = 2.3

b = y의 평균 - (x의 평균 X 기울기 a)

y절편 = 79

 

y = 2.3x+79

 

공부한 시간 x	2	4	6	8
성적 y	81	93	91	97
예측 값 (x대입시 나오는 y값)	83.6	88.2	92.8	97.4

 

 

 

오차가 최저가 되는 직선의 완성

 

---

코딩으로 구현하기

 

 

 

import numpy as np

x = [2,4,6,8]
y = [81,93,91,97]

 

 

최소제곱근 공식으로 기울기 a와 y절편 b 구하기

 

mean()  : x의 모든 원소의 평균 구하는 Numpy 함수

mx : x원소들의 평균값

my : y원소들의 평균값

 

#분모

divisor : 분모값 (x의 각원소와 x평균값의 차를 제곱)

**2 : 제곱

 

mx = np.mean(x)
my = np.mean(y)

divisor = sum([ (i-mx)**2 for i in x])

 

#분자값 (x와 y의 편차 곱해서 합한 값)

dividend에 저장

def top(x,mx,y,my):
	d=0
    for i in range(len(x)):
    	d += (x[i] - mx) * (y[i] - my)
    return d
dividend = top(x,mx,y,my)

print("분모:",divisor)
print("분자:",dividend)

 

#기울기 a 와  y절편 b 구하기

a = dividend / divisor\
b = my- (mx*a)

print("기울기 a=",a)
print("y절편 b=",b)

 

실행결과

 

분모: 20.0

분자: 46.0

기울기 a= 2.3

y절편 b= 79.0