비지도학습 - 군집, k-means, 실루엣점수 사이킷런

이번에는 지도학습과 다른, 정답 레이블이 주어지지않는 비지도 학습에 대해 공부해보겠습니다. 

비지도학습에는 다음과 같은 것들이 있습니다. 

1. 군집(clustering)

비슷한 샘플은 클러스터로 묶습니다. 군집은

고객분류 -> 추천시스템

- 동일한 클러스터 내 사용자가 좋아하는 컨텐츠를 추천하는 추천 시스템을 만들 수 있습니다

준지도학습

- 레이블된 샘플이 적다면 군집을 수행하고 동일한 클러스터에 있는 모든 샘플에 레이블링을 할 수 있십니다. 이 기법은 이어지는 지도학습 알고리즘에 필요한 레이블이 크게 증가해 성능을 크게 향상시킵니다. 

이미지 분할

 - 색을 기반으로 픽셀을 클러스터링입니다. 그다음 픽셀 색을 해당 클ㄹ러스터의 평균 색으로 바꿉니다. 이는 이미지에 있는 색상의 종류를 크게 줄입니다. 이렇게하면 물체의 윤곽을 잡기 쉬워져 물체 탐지 및 추적 시스템에서 이미지 분할을 많이 활용합니다. 

이 외에도 검색 엔진 ,데이터 분석, 차원 축소 기법 등에 활용할 수 있습니다. 

2. 이상치 탐지

'정상'데이터가 어떻게 보이는지 학습하고 그다음 비정상 샘플을 감지하는데 사용합니다. 모든 클러스터에 친화성(affinity)가 낮은 샘플은 이상치일 가능성이 높습니다. 웹사이트 내 행동을 기반으로 사용자의 클러스터를 만들었다면, 초당 웹서버 요청을 비정상적으로 많이하는 사용자를 감지할 수 있습니다. 제조분야 혹은 부정거래 감지에도 널리 활용됩니다. 제조라인에서 결함제품을 감지하거나 시계열에서 새로운 트렌드를 찾는데 사용할 수 있습니다.

3. 밀도 추정

데이터셋 생성 확률 과정의 확률밀도함수를 추정합니다. 데이터분석과 시각화, 이상치 탐지에 사용됩니다. 밀도가 매우 낮은 영역에 놓인 샘플이 이상치일 가능성이 높기 때문입니다. 

---

이번에는 군집에 대해 살펴보겠습니다. 

군집은 비슷한 샘플을 한개의 클러스터로 할당하는 작업입니다. 분류와 마찬가지로 각 샘플은 한 그룹에 할당됩니다. 하지만 분류와 달리 군집은 비지도학습입니다. 레이블링이 되어있는 데이터는 로지스틱회귀, svm, random forest와 같은 분류 알고리즘이 맞지만, 레이블이 없는 데이터셋은 분류 알고리즘을 사용할 수 없습니다. 이것이 군집 알고리즘이 필요한 경우입니다. 

클러스터에 대한 보편적 정의는 없습니다. 실제로 상황에 때라 다릅니다. 알고리즘이 다르면 다른 종류의 클러스터를 감지합니다. 어떤 알고리즘은 centroid(중심점)라 분르는 특정 포인트를 중심으로 모인 샘플을 찾습니다. 어떤 알고리즘은 샘플이 밀집되어 연속된 영역을 찾습니다. 또 어떤 알고리즘은 계층적으로 클러스터의 클러스터를 찾습니다. 종류는 아주 많습니다. 

가장 유명한 k-means를 먼저 보겠습니다. 

k-means는 데이터를 빠르고 효율적으로 클러스터링할 수 있는 간단한 알고리즘입니다. 사이킷런에서 훈련하는 코드입니다. 반드시 실행 전 스케일을 맞춰주도록합시다. 

from sklearn.cluster import KMeans
k=5
kmeans=KMeans(n_clusters=k)
y_pred=kmeans.fit_predict(X)

클러스터 수 k를 정하는 방법은 뒤에서 설명하겠습니다. 

군집에서 각 샘플의 레이블은 할당된 클러스터의 인덱스(여기서는 0~4)입니다. 이 알고리즘이 찾은 중심점 다섯개도 확인할 수 있습니다. 

kmeans.cluster_centers_

클러스터의 결정경계를 그려보면 보로노이 다이어그램을 얻을 수 있습니다. transform()메서드는 샘플과 각 센트로이드 사이의 거리를 반환합니다. 

kmeans.transform(X_new)

 

알고리즘의 작동 방식은 다음에서 확인할 수 있습니다. 

https://getacherryontop.tistory.com/82

---

최적의 클러스터 수 찾기

최선의 클러스터 개수를 선택하는 방법 중 하나는 실루엣 점수입니다. 이 값은 모든 샘플에 대한 실루엣 계수의 평균입니다. 샘플의 실루엣 계수는 (b-a)/max(a,b)로 계산합니다. a는 동일한 클러스터 내부의 평균거리이고, b는 가장 가까운 클러스터까지의 평균 거리입니다. 샘플과 가장 가까운 클러스터는 자식이 속한 클러스터는 제외하고 b가 최소인 클러스터 입니다. 실루엣계수는 -1부터 +1까지, +1에 가까울수록 자신의 클러스터에 잘 속해있고 다른클러스터와는 멀리 떨어져있다는 뜻입니다. 0에 가까우면 클러스터 경계에 위치해있다는 의미이고 -1에 가까울수록 잘못 할당되어있다는 의미입니다. 

실루엣 점수를 사이킷런에서 계산할 수 있습니다. 

from sklearn.metrics import silhouette_score
silhouette_score(X,kmeans.labels_)

클러스터의 개수에 따른 그래프를 그려보면

4가 좋은 선택이지만 5도 꽤 좋습니다. 

실루엣 다이어그램을 그리면,

클러스터마다 칼 모양의 그래프가 그려집니다. 그래프의 높이는 클러스터가 포함하고 있는 샘플의 개수이고, 너비는 클러스터에 포함된 정렬된 실루엣계수를 의미합니다 = 넓을수록 좋습니다. 수직 파선은 각 클러스터개수에 해당하는 실루엣 점수입니다. 많은 샘플이 파선의 왼쪽에서 멈추면 클러스터 간 거리가 너무 가깝다는 의미로 나쁜 클러스터입니다. 3과 6에서 볼 수 있습니다. 하지만 4나 5는 대부분의 샘플이 파선을 넘고, 1.0에 근접해 좋은 클러스터입니다. 4일대 인덱스1의 클러스터가 아주 큰데, 5는 모두다 비슷합니다. 따라서 5를 선택하는 것이 좋습니다.