Analyse der AutoML Challenge Series 2015–2018

Der ChaLearn AutoML Challenge (die Autoren sind in alphabetischer Reihenfolge des Nachnamens aufgeführt, mit Ausnahme des ersten Autors, der den Großteil des Schreibens übernommen hat, und des zweiten Autors, der die meisten numerischen Analysen und Visualisierungen durchgeführt hat) bestand aus sechs Runden eines maschinellen Lernwettbewerbs mit zunehmender Schwierigkeit unter Berücksichtigung begrenzter Rechenressourcen. Ihm folgte ein einrundiger AutoML-Challenge (PAKDD 2018). Der AutoML-Ansatz unterscheidet sich von früheren Herausforderungen im Bereich Modell- oder Hyperparameter-Auswahl, wie beispielsweise der von uns für NIPS 2006 organisierten: Die Teilnehmer entwickeln vollständig automatisierte und rechenzeit-effiziente Systeme, die ohne menschliche Intervention trainiert und getestet werden können und deren Code eingereicht wird. Dieses Kapitel analysiert die Ergebnisse dieser Wettbewerbe und liefert detaillierte Informationen zu den Datensätzen, die den Teilnehmern nicht zugänglich gemacht wurden. Die Lösungen der Gewinner werden systematisch über alle Datensätze aller Runden evaluiert und mit klassischen maschinellen Lernalgorithmen verglichen, die in scikit-learn verfügbar sind. Alle im Rahmen dieses Kapitels besprochenen Materialien (Daten und Code) sind öffentlich zugänglich unter http://automl.chalearn.org/.