My Data Story

◈ '앙상블 학습' 목차 ◈ 1. 배깅, 페이스팅 2. 랜덤포레스트 3. 에이다부스트 4. 그레이디언트 부스팅 5. XGBoost 최적화된 그레이디언트 부스팅 구현 패키지 XGBoost 에 대해 살펴보자. 6. 스태킹 1. XGBoost 란? XGBoost는 최적화된 그레이디언트 부스팅 구현으로 유명하다. XGBoost의 목적 함수는 손실 함수에 규제항을 추가하여 과적합을 줄일 수 있도록 한다. 이때 손실 함수는 과제 종류에 따라 달라진다. 회귀 문제 시 Squared Error 를 활용하고, 이진 분류 문제 시 Logisitic 손실 함수를 활용하고, 다중 분류 문제 시 Softmax 손실 함수를 활용한다. 그 밖에도 활용 가능한 손실 함수 종류가 다양하다. XGBoost는 순차적으로 이전 학습기에서 ..