초록
트리 부스팅은 매우 효과적이며 널리 사용되는 기계 학습 방법입니다. 본 논문에서는 데이터 과학자들이 많은 기계 학습 도전 과제에서 최고 수준의 성과를 거두는 데 널리 활용되고 있는 확장 가능한 엔드투엔드 트리 부스팅 시스템인 XGBoost에 대해 설명합니다. 우리는 희소 데이터를 위한 새로운 희소성 인식 알고리즘과 근사 트리 학습을 위한 가중 양자화 스케치(weighted quantile sketch)를 제안합니다. 더욱 중요한 것은, 캐시 접근 패턴, 데이터 압축 및 분할(sharding)에 대한 통찰력을 제공하여 확장 가능한 트리 부스팅 시스템을 구축하는 것입니다. 이러한 통찰력을 결합함으로써 XGBoost는 기존 시스템보다 훨씬 적은 자원으로 수십억 개의 예제를 처리할 수 있습니다.