My Data Story

◈ '앙상블 학습' 목차 ◈ 1. 배깅, 페이스팅 2. 랜덤포레스트 3. 에이다부스트 4. 그레이디언트 부스팅 5. XGBoost 최적화된 그레이디언트 부스팅 구현 패키지 XGBoost 에 대해 살펴보자. 6. 스태킹 1. XGBoost 란? XGBoost는 최적화된 그레이디언트 부스팅 구현으로 유명하다. XGBoost의 목적 함수는 손실 함수에 규제항을 추가하여 과적합을 줄일 수 있도록 한다. 이때 손실 함수는 과제 종류에 따라 달라진다. 회귀 문제 시 Squared Error 를 활용하고, 이진 분류 문제 시 Logisitic 손실 함수를 활용하고, 다중 분류 문제 시 Softmax 손실 함수를 활용한다. 그 밖에도 활용 가능한 손실 함수 종류가 다양하다. XGBoost는 순차적으로 이전 학습기에서 ..

◈ '앙상블 학습' 목차 ◈ 1. 배깅, 페이스팅 2. 랜덤포레스트 3. 에이다부스트 4. 그레이디언트 부스팅 그레이디언트 부스팅에 대해 이해하고 확률적 그레이디언트 부스팅 패키지 lightGBM 에 대해 알아보자 5. XGBoost 6. 스태킹 1. 그레이디언트 부스팅 인기 많은 또 하나의 부스팅 알고리즘은 그레이디언트 부스팅이다. 그레이디언트 부스팅은 앙상블에 이전까지의 오차를 보정하도록 예측기를 순차적으로 추가한다. 에이다부스터처럼 반복마다 샘플의 가중치를 수정하는 대신 이전 예측이 만든 잔여 오차에 새로운 예측기를 학습시킨다. from sklearn.tree import DecisionTreeRegressor tree_reg1 = DecisionTreeRegressor(max_depth=2) tr..