머신러닝 프로젝트 - 캘리포니아 주택 가격 예측

주요 단계

1. 큰그림 그리기

2. 데이터 구하기

3. 데이터 인사이트를 위한 탐색, 시각화

4. 머신러닝 알고리즘 위한 데이터 준비

5. 모델 선택하고 훈련, 상세히 조정

6. 솔루션 제시

7. 시스템 런칭, 모니터링, 유지보수

 

다른 측정 데이터가 주어졌을 때 구역의 중간 주택 가격 예측하기

 

 

1. 문제 정의 

신호 : 머신러닝 시스템에 주입하는 정보

 

파이프라인

데이터 처리 컴포넌트component들이 연속되어 있는 것을 데이터 파이프라인pipeline이라고 합니다. 

보통 컴포넌트들은 비동기적으로 동작합니다.

각 컴포넌트는 많은 데이터를 추출해 처리하고 그 결과를 다른 데이터 저장소로 보냅니다.

그러면 일정 시간 후 파이프라인의 다음 컴포넌트가 그 데이터를 추출해 자신의 출력 결과를 만드는 식입니다.

각 컴포넌트는 완전히 독립적입니다. 즉, 컴포넌트 사이의 인터페이스는 데이터 저장소뿐입니다.

이는 (데이터 흐름도 덕분에) 시스템을 이해하기 쉽게 만들고, 각 팀은 각자의 컴포넌트에 집중할 수 있습니다.

한 컴포넌트가 다운되더라도 하위 컴포넌트는 문제가 생긴 컴포넌트의 마지막 출력을 사용해 (적어도 한동안은) 평상시와 같이 계속 동작할 수 있습니다. 그래서 시스템이 매우 견고해집니다.

한편 모니터링이 적절히 되지 않으면 고장 난 컴포넌트를 한동안 모를 수 있습니다. 데이터가 만들어진지 오래 되면 전체 시스템의 성능이 떨어집니다.

 

지도 학습, 비지도 학습, 강화 학습 중 무엇일까요? 분류나 회귀인가요 아니면 다른 어떤 작업인가요?

배치 학습과 온라인 학습 중 어느 것을 사용해야 하나요?

 

 

레이블된 훈련 샘플이 있으니 지도학습, 예측해야하고 이때 특성이 여러 개이므로 다중회귀, 각 구역마다 하나의 값 예측하므로 단변량 회귀, 데이터가 작으므로 배치 학습

 

 

2. 성능 측정 지표 선택

 

회귀 문제의 전형적인 성능 지표는 평균 제곱근 오차Root Mean Square Error (RMSE). 오차가 커질수록 이 값은 더욱 커지므로 예측에 얼마나 많은 오류가 있는지 가늠하게 해준다.

 

이상치가 많을 땐 평균 절대 오차 사용

 

3. 데이터 불러오기

housing.head()  처음 5개 행만

 

housing.info() 데이터 요약 보기

 

 

housing.describe() 숫자형 특성의 요약 정보

 

 

 

 

%matplotlib inline

import matplotlib.pyplot as plt

housing.hist(bins=50, figsize=(20,15))

save_fig("attribute_histogram_plots")

plt.show()

 

hist() 숫자형 범주에 대한 히스토그램 출력

히스토그램에서 확인할 수 있는 사항

1. 먼저 중간 소득median income 특성이 US 달러로 표현되어 있지 않은 것 같습니다.18 데이터를 취합한 팀에 확인해보니 스케일을 조정하고, 상한이 15(실제로는 15.0001), 하한이 0.5(실제로는 0.4999)가 되도록 만들었다고 합니다. 머신러닝에서는 전처리된 데이터를 다루는 경우가 흔하고 이것이 문제가 되지는 않지만 데이터가 어떻게 계산된 것인지 반드시 이해하고 있어야 합니다.
2. 중간 주택 연도housing median age와 중간 주택 가격median house value 역시 최댓값과 최솟값을 한정했습니다.19 중간 주택 가격의 경우는 타깃 속성(레이블)으로 사용되기 때문에 심각한 문제가 될 수 있습니다. 가격이 한곗값을 넘어가지 않도록 머신러닝 알고리즘이 학습될지도 모릅니다. 이것이 문제가 될지 안 될지는 클라이언트 팀(이 시스템의 출력을 사용할 팀)과 함께 검토하는 것이 좋습니다. 만약 그 팀에서 $500,000를 넘어가더라도 정확한 예측값이 필요하다고 한다면 우리가 선택할 수 있는 방법은 두 가지입니다.
   • 한곗값 밖의 구역에 대한 정확한 레이블을 구합니다.
   • 훈련 세트에서 이런 구역을 제거합니다($500,000가 넘는 값에 대한 예측은 평가 결과가 매우 나쁠 것이므로 테스트 세트에서도 제거합니다).
3. 특성들의 스케일이 서로 많이 다릅니다. 
4. 마지막으로 많은 히스토그램의 꼬리가 두껍습니다. 가운데에서 왼쪽보다 오른쪽으로 더 멀리 뻗어 있습니다. 이런 형태는 일부 머신러닝 알고리즘에서 패턴을 찾기 어렵게 만듭니다. 나중에 이런 특성들을 좀 더 종 모양의 분포가 되도록 변형시키겠습니다.

 

 

4. 테스트 세트 만들기

---

무작위로 샘플 선택해 데이터셋의 20%정도를 떼어놓기

훈련세트 16512개

테스트 세트 4128개

 

이것도 괜찮지만 완벽하지는 않습니다. 프로그램을 다시 실행하면 다른 테스트 세트가 생성됩니다! 여러 번 계속하면 우리는(또는 우리 머신러닝 알고리즘이) 전체 데이터셋을 보는 셈이므로 이런 상황은 피해야 합니다.

한 가지 해결책은 처음 실행에서 테스트 세트를 저장하고 다음번 실행에서 이를 불러들이는 것입니다.

 

또 다른 방법은 항상 같은 난수 인덱스가 생성되도록 np.random.permutation()을 호출하기 전에 난수 발생기의 초깃값을 지정하는 것입니다(예를 들면 np.random.seed(42)20).

 

하지만 이 두 해법 모두 다음번에 업데이트된 데이터셋을 사용하려면 문제가 됩니다. 일반적인 해결책은 샘플의 식별자를 사용하여 테스트 세트로 보낼지 말지 정하는 것입니다(샘플이 고유하고 변경 불가능한 식별자를 가지고 있다고 가정합니다).

 

예를 들어 각 샘플마다 식별자의 해시값을 계산하여 해시의 마지막 바이트의 값이 51(256의 20% 정도)보다 작거나 같은 샘플만 테스트 세트로 보낼 수 있습니다. 이렇게 하면 여러 번 반복 실행되면서 데이터셋이 갱신되더라도 테스트 세트가 동일하게 유지됩니다. 새로운 테스트 세트는 새 샘플의 20%를 갖게 되지만 이전에 훈련 세트에 있던 샘플은 포함시키지 않을 것입니다. 다음은 이를 구현한 코드입니다.

 

 

from zlib import crc32

 

def test_set_check(identifier, test_ratio):

    return crc32(np.int64(identifier)) & 0xffffffff < test_ratio * 2**32

 

def split_train_test_by_id(data, test_ratio, id_column):

    ids = data[id_column]

    in_test_set = ids.apply(lambda id_: test_set_check(id_, test_ratio))

    return data.loc[~in_test_set], data.loc[in_test_set]

 

 

 

 

 

---

---

무작위 샘플링 방식 ☆

 

 

테스트 세트가 전체 데이터셋에 있는 여러 소득 카테고리를 잘 대표해야 합니다. 중간 소득이 연속적인 숫자형 특성이므로 소득에 대한 카테고리 특성을 만들어야 합니다. 중간 소득의 히스토그램을 조금 더 자세히 살펴보겠습니다([그림 2-8] 참조). 중간 소득 대부분은 $20,000~$50,000 사이에 모여 있지만 일부는 $60,000를 넘기도 합니다. 계층별로 데이터셋에 충분한 샘플 수가 있어야 합니다. 그렇지 않으면 계층의 중요도를 추정하는 데 편향이 발생할 것입니다. 이 말은 너무 많은 계층으로 나누면 안 된다는 뜻이고 각 계층이 충분히 커야 합니다. 

 

income_cat에 5구간으로 나누어 넣는다

각 범위를 레이블로 정리

median_income

income_cat

 

 

 

 

소득 카테고리 기반으로 계층 샘플링

테스트 세트와 훈련세트에도 비율 비슷하게 유지

 

 

---

oR