Analyse de la série de défis AutoML 2015–2018

Le Défi ChaLearn AutoML (les auteurs sont classés par ordre alphabétique de nom de famille, excepté le premier auteur qui a rédigé la majeure partie du texte et le deuxième auteur qui a réalisé la majeure partie des analyses numériques et des graphiques) (NIPS 2015 – ICML 2016) s’est déroulé en six manches successives d’un concours d’apprentissage automatique de difficulté croissante, sous contrainte de ressources computationnelles limitées. Il a été suivi d’un défi AutoML à une seule manche (PAKDD 2018). Le cadre AutoML diffère des défis antérieurs de sélection de modèles ou d’optimisation des hyperparamètres, tels que ceux que nous avions organisés précédemment pour NIPS 2006 : les participants doivent concevoir des systèmes entièrement automatisés et efficaces du point de vue computationnel, capables d’être entraînés et testés sans intervention humaine, avec soumission de code. Ce chapitre analyse les résultats de ces concours et fournit des détails sur les jeux de données, qui n’ont pas été communiqués aux participants. Les solutions des gagnants sont systématiquement évaluées sur l’ensemble des jeux de données de toutes les manches et comparées aux algorithmes classiques d’apprentissage automatique disponibles dans scikit-learn. Tous les matériaux présentés dans ce chapitre (données et code) ont été rendus accessibles au public à l’adresse suivante : http://automl.chalearn.org/.