머신러닝 분류 성능 측정

머신러닝에서의 학습의 종류는 다음과 같이 3가지이고, 각각 해당하는 작업을 볼 수 있습니다. 

지도 학습 중에서 분류 작업과 모델에 대한 성능 측정에 대해 다루겠습니다. 사이킷런의 다양한 분류모델로 학습을 진행할 수 있습니다. 분류는 회귀보다 사용할 수 있는 성능 지표가 많습니다. 

 

1. 교차검증을 활용한 정확도 측정

사이킷런의 cross_val_score()를 활용할 수 있습니다. 

폴드가 3개인 k-겹 교차 검증을 사용해 모델을 평가하는 예시

from sklearn.model_selection import cross_val_score
cross_val_score(훈련한모델,X_train,y_train, cv=3,scoring="accuracy")

그러나 정확도는 분류기 성능 측정지표로는 선호되지 않습니다. 불균형한 데이터셋일수록 그렇습니다. 

 

2. 오차행렬

더 좋은 방법은 오차행렬confusion matrix를 활용하는 것입니다. 

오차 행렬을 만들려면 실제 타깃과 비교할 수 있도록 예측값을 먼저 만들어야 합니다. 테스트세트로 예측값을 만들 수 있지만 여기서 사용하면 안됩니다. 대신 cross_val_predict()함수를 사용할 수 있습니다.

from sklean.model_selection import cross_val_predict
y_train_pred = cross_val_predict(훈련한 모델,X_train, y_train, cv=3)

cross_val_predict()함수는 교차검증을 수행하지만 평가 점수가 아닌 각 테스트 폴드에서 얻은 예측을 반환합니다. 즉 훈련셋의 모든 샘플에 대해 깨꿋한(훈련하는동안 보지 못한 데이터에 대한 예측)예측을 얻게 됩니다. 

이제 confusion_matrix()함수로 오차행렬을 만들어보겠습니다. 

from sklearn.metrics import confusion_matrix
confusion_matrix(y_train,y_train_pred)

array[[55555,1111],

           [222.444]]

오차행렬의 행은 실제 클래스, 열은 예측한 클래스를 나타냅니다. 55555개를 정확하게 진짜 음성으로 분류했고, 나머지 1111개는 음성인데 양성이라고 분류했습니다. 두번째 행은 양성 클래스에 대해, 222개는 양성인데 음성으로 잘못분류했고, 나머지 444개만 정확히 야ㅑㅇ성인데 양성으로 분류했습니다. 완벽한 분류기라면 대각선이 0, 0이됩니다(오른쪽위에서 왼쪽아래로의 대각선)

 

2.1 정밀도와 재현율이 모두 높아야 좋다!

오차행렬보다는 더 요약된 지표가 필요할 경우에는 양성예측의 정확도 = 정밀도, 재현율(민감도)를 봅니다. 

 

 

사이킷런은 이러한 지표를 계산하는 함수를 제공합니다.

from sklearn.metrics import precision_score, recall_score
precision_score(y_train,t_train_pred)
recall_score(y_train,t_train_pred)

 

2.2 정밀도와 재현율을 하나의 지표로 = F1 Score

f1점수는 정밀도와 재현율의 조화 평균입니다. 정밀도와 재현율이 비슷한 분류기에서는 f1점수가 더 높습니다. 그러나 이것이 항상 맞는것은 아닙니다. 상황에 따라 다른데, 예를 들어 어인이에게 안전한 동영상을 필터링하는 분류기를 훈련시킨다 하면, 재현율이 높으나 정말 나쁜 동영상이 소수 노출되는 것 보다는 안전한 영상이 많이 없더라도(낮은 재현율) 안전한 것만 노출시키는(높은 정밀도)분류기를 더 선호할 것입니다. 씨씨티비로 도둑을 잡는 분류기를 훈련시킨다고하면 재현율이 99%라면 정확도가 낮아도 괜찮을지도 모릅니다. 

두가지를 모두 얻을 수는 없습니다. 정밀도가 증가하면 재현율이 줄어듭니다. 이를 정밀도/재현율 트레이드 오프라고 합니다. 

좋은 정밀도/재현율 트레이드 오프 선택하는 다른 방법은 재현율에 대한 정밀도 곡선을 그립니다. 만약 재현율이 70%근처에서 급감한다고할깨 하강점직전을 좋은 정밀도/재현율 트레이드오프로 선택하는 것이 좋습니다. 다만 재현율이 너무 낮다면 높은 정밀도의 분류기는 전혀 유용하지 않습니다. 

3.ROC곡선

이진 분류에서 널리 사용됩니다. 이는 거짓양성(FP)비율에 대한 TPR(재현율)의 곡선입니다. 거짓양성비율은 음선인데 양성으로 잘못 분류된 샘플의 비율입니다. 이는 1에서 TNR을(특이도)를 뺀 값입니다. 즉, ROC곡선은 재현율(민감도)에 대한 1-특이도 그래프입니다.