[딥러닝] 로지스틱 회귀(logistic regression)

로지스틱 회귀의 목적은 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다. 

 선형 회귀 분석과는 다르게 종속 변수가 범주형 데이터를 대상으로 하며 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 (classification) 기법으로도 볼 수 있다.

 

---

ex) 점수가 아니라 합격 불합격만 발표되는 시험

공부한 시간	2	4	6	8	10	12	14
시험 결과	불합	불합	불합	합격	합격	합격	합격

공부한 시간에 따른 합격 여부

 

 

합격을 1 불합을 0이라고 하고 좌표 평면에 나타내면 직선의 일차방정식을 만들기 어렵다.

점들의 특성을 담아내려면 참(1)과 거짓(0)을 구분하는 S형태의 선을 긋는게 적절하다 - 시그모이드 함수

 

 

y값이 0과 1 사이

 

 

시그모이드 함수로 로지스틱 회귀 푸는 공식 : 

 

a = 그래프의 경사도

a가 커지면 경사도 커진다.  b는 그래프의 좌우이동을 의미

 

 

 

 

 

a와 b 값에 따라 오차는 변화한다.

 

• a값이 작아지면(0에 가까워지면) 오차는 무한대로 커지지만, a가 커진다고 해서 오차가 없어지지는 않는다.
• b값이 너무 작거나 크면 오차도 이에 따라 커진다.

 

시그모이드 함수에서 a와 b의 값은 경사하강법을 통해 구한다

경사하강법 = 먼저 오차를 구한 다음 오차가 작은 쪽으로 이동시키는 방법

먼저, 오차 구하는 공식 필요

시그모이드 함수의 오차가 커지는 경우 : 를 공식으로 만드는 함수 = 로그 함수

1. 실제 값이 1일 때 예측 값이 0에 가까움 - 왼쪽그래프 쓰기
2. 실제 값이 0일 때 예측 값이 1에 가까움 - 오른쪽그래프 쓰기

 

 

오차함수

 

---

 

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

#x,y리스트
data=[[2,0],[4,0],[6,0],[8,1],[10,1],[12,1],[14,1]]
xdata= [i[0] for i in data]
ydata= [i[1] for i in data]

plt.scatter(xdata, ydata)
plt.xlim(0,15)
plt.ylim(-.1,1.1)


#초기화
a=0
b=0

#학습률 정하기
lr=0.05

#시그모이드 함수 정의
def sigmoid(x):
	return 1 / (1+np.e ** (-x)

#경사하강법
for i in range(2001):
    for x_data, y_data in data:
        # a에 관한 편미분. 앞서 정의한 sigmoid 함수 사용
        a_diff = x_data*(sigmoid(a*x_data + b) - y_data)
        # b에 관한 편미분
        b_diff = sigmoid(a*x_data + b) - y_data
        # a를 업데이트 하기 위해 a - diff에 학습률 lr을 곱한 값을 a에서 뺌
        a = a - lr * a_diff
        # b를 업데이트 하기 위해 b - diff에 학습률 lr을 곱한 값을 b에서 뺌
        b = b - lr * b_diff
        if i % 1000 = = 0:
            print("epoch=%.f, 기울기=%.04f, 절편=%.04f" % (i, a, b))

    # 앞서 구한 기울기와 절편을 이용해 그래프 그리기
    plt.scatter(x, y)
    plt.xlim(0, 15)
    plt.ylim(-.1, 1.1)
    x_range = (np.arange(0, 15, 0.1)) # 그래프로 나타낼 x 값의 범위 정하기
    plt.plot(np.arange(0, 15, 0.1), np.array([sigmoid(a * x + b) for x in x_range]))
    plt.show()

 

세 개 이상의 입력 값 다룬다면 시그모이드 대신 소프트맥스 함수 사용 - 다중 분류