XG Boost

1. 주요 장점

뛰어난 예측 성능, GBM대비 빠른 수행 시간(cpu 병령 처리, GPU지원)

다양한 성능 향상 기능(규제기능 탑재, tree Pruning)

다양한 편의 기능(조기중단, 자체 내장된 교차 검증, 결손값 자체 처리)

 

2. XGBoost 조기 중단 기능(Early Stopping)

XGBoost는 특정 반복 횟수만큼 더 이상 비용함수가 감소하지 않으면, 지정된 반복횟수를 다 완료하지 않고 수행을 종료할 수 있음

학습을 위한 시간을 단축시킬 수 있음. 특히 최적화 튜닝 단계에서 적절하게 사용 가능

너무 반복 횟수를 단축할 경우 예측 성능 최적화가 안된 상태에서 학습이 종료될 수 있으므로 유의 필요.

 

3. 조기 중단 설정을 위한 주요 파라미터

early_stopping_rounds : 더이상 비용 평가 지표가 감소하지 않는 최대 반복횟수

ecval_metric : 반복 수행 시 사용하는 비용 평가 지표

eval_set : 평가를 수행하는 별도의 검증 데이터 세트_일반적으로 검증 데이터 세트에서 반복적으로 비용 감소 성능 평가