XGBoost: Ein skalierbares Tree-Boosting-System
Baumboosting ist eine hoch effektive und weit verbreitete Maschinenlernmethode. In dieser Arbeit beschreiben wir ein skalierbares End-to-End-Baumboosting-System namens XGBoost, das von Datenwissenschaftlern häufig verwendet wird, um Spitzenleistungen bei vielen Maschinenlernaufgaben zu erzielen. Wir schlagen einen neuen Sparsity-bewussten Algorithmus für dünn besetzte Daten sowie ein gewichtetes Quantilskizzenverfahren für approximative Baumlernen vor. Von noch größerer Bedeutung sind unsere Erkenntnisse bezüglich Cache-Zugriffsmuster, Datenkompression und -aufteilung zur Entwicklung eines skalierbaren Baumboosting-Systems. Durch die Kombination dieser Erkenntnisse skaliert XGBoost über Milliarden von Beispielen hinweg und benötigt dabei deutlich weniger Ressourcen als bestehende Systeme.