부스팅 AdaBoost, gradient boosting, XGBoost

부스팅은 약한 학습기를 여러 개 연결하여 강한 학습기를 만드는 앙상블 방법이다. 부스팅 방법 중 가장 유명한 것은 에이다부스팅과 그래디언트 부스팅(XGBoost, LightGBM)이다. 

에이다부스트

이전 예측기를 보완하는 방식은 이적 모델이 과소적합했던 훈련샘플의 가중치를 더 높이는 것이다. 이렇게 하면 새로운 예측기는 이전에 학습이 잘 안됐던 샘플에 더 맞춰지게 된다. 에이다부스트는 이 방식을 사용한다. 

예를 들어 에이다부스트 분류기를 만들 때는 먼저 알고리즘의 기반이 되는 첫 번째 분류기(예; 결정 트리)를 훈련세트에서 훈련시키고 예측을 만든다. 그 다음에 알고리즘이 장못 분류한 훈련샘플의 가중치를 상대적으로 높인다. 두 번째 분류기는 업데이트됨 가중치로 훈련세트에서 훈련하고 다시 예측한다. 또 가중치를 업데이트한다...반복...

지정된 예측기 수에 도달하거나 완벽한 예측기가 만들어지면 중지된다. 

사이킷런의 AdaBoostRegressor, AdaBoostClassifier를 사용한다. 

 

그래디언트 부스팅

에이다부스트처럼 앙상블에 이전까지 오차를 보정하도록 례측기를 순차적으로 추가하지만, 샘플의 가중치를 업데이트하는 에이다부스트와 달리 이전 예측기가 만든 잔여 오차(residual error)에 새로운 예측기를 학습시킨다. 

사이킷런의 GradientboostingRegressor, GradientboostingClassifier

 

XGBoost

최적화된 그래디언트 부스팅, 자동 조기 종료 옵션도 설정할 수 있다. 

import xgboost

xg_reg=xgboost.XGBRegressor()
xg_reg.fit(X_train, y_train, eval_set=[(X_val, y_val)], early_stopping_rounds=2)
y_pred = xg_reg.predict(X_val)