머신러닝의 주요 도전 과제

 

 

1. 충분하지 않은 양의 훈련 데이터

- 머신러닝 알고리즘이 잘 작동하려면 많은 데이터가 필요

 

 

 

2. 대표성 없는 훈련 데이터

- 샘플이 작으면 샘플링 잡음이 생김

- 큰 샘플도 표본 추출 방법이 잘못되면 대표성을 띠지 못하고 샘플링 편향이 생김

 

 

 

3. 낮은 품질의 데이터

훈련 데이터 정제가 필요한 경우:

• 일부 샘플이 이상치 - 무시하거나 수동으로 고치기
• 일부 샘플에 특성 몇 개가 빠짐 -- 무시, 빠진 값을 채울지(평균으로), 특성 넣은 모델과 제외한 모델 따로 훈련할지 결정

 

 

 

4. 관련 없는 특성

 

특성 공학

- 특성 선택 : 가지고 있는 특성 중 가장 유용한 특성 선택

- 특성 추출: 특성 결합해 더 유용한 특성 만듦, 차원 축소 알고리즘

- 새로운 데이터 수집해 새 특성 생성

 

 

 

5. 훈련 데이터 과대적합

 

과대적합 overfitting

- 간단한 선형 모델보다 이 모델이 훈련 데이터에 더 잘 맞는다 하더라도 실제로 믿기는 힘들다

 

해결방법

• 파라미터 수가 적은 모델 선택하거나 ( 고차원 다항 모델보다 선형모델) 훈련데이터의 특성 수 줄이거나 , 모델에 제약을 가해 단순화(규제)
• 훈련데이터를 더 모으기
• 훈련데이터의 잡음 줄이기( 오류 데이터 수정, 이상치 제거)

 

학습하는동안 적용할 규제의 양은 하이퍼파라미터가 결정한다.

하이퍼파라미터 

• 모델이 아닌 학습 알고리즘의 파라미터
• 훈련 전 미리 지정되고, 훈련 동안에는 상수로 남아있다
• 규제 하이퍼파라미터를 매우 큰 값으로 지정하면 기울기가 0에 가까운 평편한 모델을 얻게 됨 - 좋은모델 찾지못함

 

 

과소적합 underfitting

모델이 너무 단순해서 학습하지 못할 때

예) 삶의 만족도에 대한 선형 모델은 과소적합되기 쉬움 , 현실은 이 모델보다 더 복잡하므로 부정확한 예측

 

해결 방법

• 모델 파라미터가 많은 강력한 모델 선택
• 학습 알고리즘에 더 좋은 특성 제공(특성 공학)
• 모델의 제약 줄임(규제 파라미터 감소)

 

---

정리

 

• 머신러닝은 명시적인 규칙을 기게가 데이터로부터 스스로 학습하여 어떤 작업을 더 잘하도록 만드는 것
• 머신러닝 시스템의 종류 : 지도학습, 비지도학습, 배치학습, 온라인학습, 사례기반학습, 모델기반학습
• 머신러닝 프로젝트- 훈련 셋에 데이터를 모아 학습 알고리즘에 주입한다.
  • 학습 알고리즘이 모델 기반이면 훈련셋에 모델을 맞추기 위해 모델 파라미터를 조정하고, 새로운 데이터에서의 좋은 예측도 기대한다.
  • 사례 기반이면 학습 = 샘플 기억, 유사도 측정으로 새로운 샘플에 일반화
• 훈련셋이 너무 작거나, 대표성이 없거나, 잡음 많다면 잘 작동하지 않는다. 
• 모델이 너무 단순하거나(과소적합), 너무 복잡하지 않아야(과대적합)

---

 

테스트와 검증

 

훈련데이터를 훈련셋과 테스트셋으로 나눈다

훈련셋 : 모델 훈련하는데 사용(80%)

테스트셋 : 모델 테스트하는데 사용(20%) , 모델 평가

 

일반화 오차(외부 샘플 오차) = 새로운 샘플에 대한 오류 비율

테스트셋에서 이 오차에 대한 추정값을 얻는다 - 새로운샘플에 모델이 얼마나 잘 작동할지를 알려줌

 

훈련 오차가 납지만 일반화 오차가 높다면 모델이 훈련 데이터에 과대적합되었다는 뜻

 

 

모델 선택법:

 

홀드아웃 검증 : 훈련셋의 일부 떼어내어 여러 후보 모델 평가하고 선택 ( 검증세트,개발세트,데브세트 = 새로운 홀드아웃 세트)

 

전체 훈련셋 - 검증세트 에서 다양한 하이퍼파라미터 값을 가진 여러 모델을 훈련, 선택

끝나면 선택한 모델을 검증 세트를 포함한 전체 훈련 세트에서 다시 훈련하여 최종 모델을 만듦

최종 모델을 테스트 세트에서 평가하여 일반화 오차를 수정

 

작은 검증 세트를 여러 개 사용하는 반복적 교차검증을 수행하여 정확한 성능 측정

단점 : 늘어나는 훈련 시간

 

 

 

예) 꽃 사진 찍어 꽃이름 자동으로 찾는 모바일 앱 만들기

 

웹에서 다운받는 꽃 사진은 앱으로 찍을 꽃사진을 완벽하게 대신하지는 못함

검증 세트와 테스트 세트가 실전에서 기대하는 데이터를 가능한 잘 대표해야 한다. 

따라서 검증 세트와 테스트 세트에 대표 사진이 배타적으로 포함되어야 한다

 

웹에서 다운받은 사진의 일부를 떼어내어 다른 세트를 만든다. = 훈련-개발 세트

모델을 훈련 세트에서 훈련한 다음 훈련-개발 세트에서 평가한다

모델이 잘 작동 = 훈련세트에 과대적합한 것이 아님

나쁜 성능 = 데이터 불일치

       해결 : 웹 이미지를 모바일에서 찍은 것처럼 전처리항 후 다시 훈련

모델이 훈련-개발 세트에서 잘 작동 안함 = 훈련세트에 과대 적합

       해결 : 더 많은 훈련 데이터 모으기, 훈련 데이터 정제