[딥러닝] 피마 인디언 당뇨병 예측하기

피마인디언은 우리나라 사람과 같은 뿌리를 가진 ‘몽골로이드계’로 주식은 콩과 호박같은 식물이었고, 먹을 것은 항상 풍족하지 못했다. 이 때문에 그들은 조금만 먹어도 잘 생존할 수 있도록 몸속에 음식을 축적해 놓으려는 유전자를 가지게 되었다.

그러나 미국으로 이주하고 식생활이 서구화되면서 못 먹는 상황에 유리하게 적응한 유전자가 비만을 초래해 각종 성인병을 유발했다. 그 후 그들의 자식, 그 자식의 자식들까지 비만, 당뇨병 등 성인병 발병률이 증가하기 시작했다.

피마인디언은 세계에서 당뇨병 발병률이 가장 많은 종족이 되었고, 피마 족의 남자 63%, 여자 70%가 당뇨병에 걸렸다는 보고가 최근 발표되기도 했다.

pima-indians-diabetes.csv :  768명의 인디언으로부터 8개의 정보와 1개의 클래스를 추출한 데이터

 

pima-indians-diabetes.csv

• 샘플 수: 768

• 속성: 8

- 정보 1 (pregnant): 과거 임신 횟수

- 정보 2 (plasma): 포도당 부하 검사 2시간 후 공복 혈당 농도(mm Hg)

- 정보 3 (pressure): 확장기 혈압(mm Hg)

- 정보 4 (thickness): 삼두근 피부 주름 두께(mm)

- 정보 5 (insulin): 혈청 인슐린(2-hour, mu U/ml)

- 정보 6 (BMI): 체질량 지수(BMI, weight in kg/(height in m)2)

- 정보 7 (pedigree): 당뇨병 가족력

- 정보 8 (age): 나이

• 클래스: 당뇨(1), 당뇨 아님(0)

---

pandas를 활용한 데이터 분석

 

import pandas as pd
# 피마 인디언 당뇨병 데이터셋을 불러옵니다. 불러올 때 각 컬럼에 해당하는 이름을 지정합니다.
df = pd.read_csv('../dataset/pima-indians-diabetes.csv',
               names = ["pregnant", "plasma", "pressure", "thickness", "insulin", "BMI", "pedigree", "age", "class"])

read_csv() : csv 데이터 불러오기

csv 파일에는 데이터를 설명하는 한 줄이 파일 맨 처음에 나옵니다. 이를 헤더(header)라고 합니다. 그런데 우리가 가진 csv 파일에는 헤더가 없습니다. 이에 names라는 함수를 통해 속성별 키워드를 지정해 주었습니다.

 

# 처음 5줄을 봅니다.
print(df.head(5))

실행 결과

# 데이터의 전반적인 정보를 확인해 봅니다.
print(df.info())

# 각 정보별 특징을 좀더 자세히 출력합니다.
print(df.describe())

실행 결과

 

데이터의 일부 컬럼만 보고 싶을 때, 예를 들어 임신 횟수(pregnant)와 당뇨병 발병 여부(class)만 확인해 보고 싶다면 다음과 같이 입력합니다.

# 데이터 중 임신 정보와 클래스 만을 출력해 봅니다.
print(df[['plasma', 'class']])

 

 

---

데이터 가공하기 - 임신 횟수당 당뇨병 발병 확률 계산

 

 

이 프로젝트의 목적은 당뇨병 발병을 예측하는 것입니다. 그렇다면 모든 정보는 당뇨병 발병과 어떤 관계가 있는지를 중점에 놓아야 합니다.

 

print(df[[‘pregnant’,‘class’]].groupby([‘pregnant’], as_index=False).mean().sort_values(by=‘pregnant’, ascending=True))

먼저 groupby() 함수를 사용해 pregnant 정보를 기준으로 하는 새 그룹을 만들었습니다. 

as_index=False는 pregnant 정보 옆에 새로운 인덱스(index)를 만들어 줍니다.

mean() 함수를 사용해 평균을 구하고 sort_values() 함수를 써서 pregnant 컬럼을 오름차순(ascending)으로 정리하게끔 설정하였습니다.

 

 

 

 

---

matplotlib를 이용해 그래프로 표현하기

 

matplotlib 라이브러리와 이를 기반으로 좀 더 정교한 그래프를 그리게끔 도와주는 

seaborn 라이브러리를 사용해 각 정보끼리 어떤 상관관계가 있는지를 알아보겠습니다.

 

import matplotlib.pyplot as plt
import seaborn as sns

 

 

# 데이터 간의 상관관계를 그래프로 표현해 봅니다.

colormap = plt.cm.gist_heat   #그래프의 색상 구성을 정합니다.
plt.figure(figsize=(12,12))   #그래프의 크기를 정합니다.

# 그래프의 속성을 결정합니다. vmax의 값을 0.5로 지정해 0.5에 가까울 수록 밝은 색으로 표시되게 합니다.
sns.heatmap(df.corr(),linewidths=0.1,vmax=0.5, cmap=colormap, linecolor='white', annot=True)
plt.show()

heatmap() 함수는 두 항목씩 짝을 지은 뒤 각각 어떤 패턴으로 변화하는지를 관찰하는 함수입니다.

두 항목이 전혀 다른 패턴으로 변화하고 있으면 0을, 서로 비슷한 패턴으로 변할수록 1에 가까운 값을 출력합니다.

 

vmax는 색상의 밝기를 조절하는 인자입니다.

cmap은 미리 정해진 matplotlib 색상의 설정값을 불러옵니다.

색상 설정값은 https://matplotlib.org/users/colormaps.html에서 확인할 수 있습니다.

 

실행 결과

 

당뇨병 발병 여부를 가리키는 class 항목을 보면 pregnant부터 age까지 상관도가 숫자로 표시되어 있고, 숫자가 높을수록 밝은 색상

그래프를 통해 plasma 항목(공복 혈당 농도)이 class 항목과 가장 상관관계가 높다는 것을 알 수 있습니다.

즉, 이 항목이 결론을 만드는 데 가장 중요한 역할을 한다는 것을 예측할 수 있습니다.

 

이제 plasma와 class 항목만 따로 떼어 두 항목 간의 관계를 그래프로 다시 한번 확인해 보겠습니다.

 

 

grid = sns.FacetGrid(df, col='class')
grid.map(plt.hist, 'plasma',  bins=10)
plt.show()

실행 결과

당뇨병 환자의 경우(class=1) plasma 항목의 수치가 150 이상인 경우가 많다는 것을 알 수 있습니다.

이렇게 결과에 미치는 영향이 큰 항목을 발견하는 것이 ‘데이터 전처리 과정’의 한 예입니다.

데이터 전처리 과정은 딥러닝을 비롯하여 모든 머신러닝의 성능 향상에 중요한 역할을 합니다.

 

데이터 전처리 과정은 모아진 데이터에 빠진 값이 있다면 평균이나 중앙값으로 대치하는 등의 과정, 전혀 관계없는 이상 데이터가 끼어 있지는 않은지를 점검하는 과정 등이 포함됩니다. SVM, RF등의 머신러닝 기법은 중요한 속성을 뽑아 내는 Feature extraction 과정도 데이터 전처리에 포함하지만, 딥러닝은 중요한 속성을 내부적으로 뽑아내므로 이 과정은 필요 없습니다.

 

 

---

keras 로 당뇨병 에측 실행

 

# 딥러닝을 구동하는 데 필요한 케라스 함수를 불러옵니다.
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# 필요한 라이브러리를 불러옵니다.
import numpy
import tensorflow as tf

# 실행할 때마다 같은 결과를 출력하기 위해 설정하는 부분입니다.
numpy.random.seed(3)
tf.random.set_seed(3)

# 데이터를 불러 옵니다.
dataset = numpy.loadtxt("../dataset/pima-indians-diabetes.csv", delimiter=",")
X = dataset[:,0:8]
Y = dataset[:,8]

# 모델을 설정합니다.
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))

# 모델을 컴파일합니다.
model.compile(loss='binary_crossentropy',
             optimizer='adam',
             metrics=['accuracy'])

# 모델을 실행합니다.
model.fit(X, Y, epochs=200, batch_size=10)

# 결과를 출력합니다.
print("\n Accuracy: %.4f" % (model.evaluate(X, Y)[1]))

seed 값을 설정한다는 것은 그 랜덤 테이블 중에서 몇 번째 테이블을 불러와 쓸지를 정하는 것입니다.

따라서 seed 값이 같으면 똑같은 랜덤 값을 출력합니다.

 

지금 우리가 보고 있는 코드처럼 넘파이 라이브러리를 사용하면서 텐서플로 기반으로 딥러닝을 구현할 때는 일정한 결괏값을 얻기 위해 넘파이 seed 값과 텐서플로 seed 값을 모두 설정해야 합니다

(단, seed 값을 이렇게 지정해도 여전히 출력 값이 미세하게 다를 수 있습니다. 이는 텐서플로를 구동시키는 cuDNN 등의 내부 소프트웨어가 자체적으로 또 다른 랜덤 테이블을 생성하기 때문인데, 현재 이 부분의 seed 값을 지정할 방법은 없습니다. 따라서 앞서 언급한 것처럼 최종 딥러닝 결과는 여러 번 실행하여 평균을 구하는 것이 가장 적절합니다)

 

딥러닝 모델에 은닉층을 하나 더 추가, 층을 추가할 때는 model.add() 함수를 이용해 새로운 줄을 추가하기만 하면 됩니다.

둘 중 하나를 결정하는 이항 분류(binary classification) 문제이므로 오차 함수는 binary_crossentropy를 사용하고, 최적화 함수로 adam을 사용하겠습니다.

그리고 전체 샘플이 200번 반복해서 입력될 때까지 실험을 반복합니다.

한 번에 입력되는 입력 값을 10개로 하고 종합하면 다음과 같은 프로그램이 완성됩니다.

 

- 0s 109us/sample - loss: 0.5015 - accuracy: 0.7253

Accuracy: 0.7253

 

약 72.53%의 예측 정확도