다중 로지스틱 회귀 (소프트맥스 회귀)

앞서 분류가 2개인(1아니면 0)인 이진 로지스틱 회귀에 관해 배웠다. 만약 분류항목이 2개가 아닌 그 이상이라면 어떻게 할까? 앞선 예제에서 사용한 데이터에는 붓꽃의 품종이 virginica, versicolor,setosa로 세가지였지만 우리는 versicolor인가 아닌가로만 판단을 했었다. 이번에는 한 붓꽃의 꽃잎의 너비와 길이를 가지고 세가지 품종중 어느 품종인지 분류하는 다중 로지스틱회귀를 해보겠다. 

다중 로지스틱회귀는 샘플 x가 주어지면 각 클래스에 대한 점수를 소프트맥스 회귀모델이 계산하고 그 점수에 소프트맥스 함수를 적용해 각 클래스의 확률을 추정한다. 

log(odds)

 :

 로짓변환 결과는 선형결합한 형태로 된다.

 

train할 때, 파라미터 추정은 크로스 엔트로피가 최소 = log(liklihood function)이 최대가 되는 값이다. 

 

아래는 앞서 말했던 붓꽃 품종 분류문제를 사이킷런으로 구현한 예시이다. 

from sklearn import datasets
iris=datasets.load_iris()
from sklearn.linear_model import LogisticRegression

X=iris['data'][:,(2,3)]
y=iris['target']
softmaxlr = LogisticRegression(multi_class='multinomial')#auto로 지정하면 자동으로 이진/다중인지 지정해줌
softmaxlr.fit(X,y)

 

꽃잎의 길이가 5, 너비가 2인 붓꽃은 78.4확률로 클래스 2(Virginica), 21.4%확률로 versicolor라고 출력했다. 

 

https://colab.research.google.com/drive/15vQxtl97V3lCS1fyOIzT7pTILaEbKD41?usp=sharing