HEBO : Pousser les limites de l'optimisation hyperparamétrique à faible consommation d'échantillons

Dans ce travail, nous analysons rigoureusement les hypothèses inhérentes aux tâches d’optimisation hyperparamétrique en mode boîte noire. Nos résultats obtenus sur le benchmark Bayesmark indiquent que l’hétéroscédasticité et la non-stationnarité posent des défis importants aux optimisateurs en boîte noire. À la lumière de ces constatations, nous proposons un solveur d’optimisation bayésienne hétéroscédastique et évolutionnaire, appelé HEBO. HEBO réalise une transformation non linéaire des entrées et des sorties, permet une optimisation exacte de la log-vraisemblance marginale et se révèle robuste vis-à-vis des valeurs des paramètres appris. Nous démontrons l’efficacité empirique de HEBO sur le défi d’optimisation en boîte noire organisé par NeurIPS 2020, où HEBO a obtenu la première place. Une analyse approfondie révèle que HEBO surpasse significativement les optimisateurs en boîte noire existants sur 108 tâches de réglage d’hyperparamètres en apprentissage automatique, incluant le benchmark Bayesmark. Nos découvertes suggèrent que la majorité des tâches de réglage d’hyperparamètres présentent des caractéristiques d’hétéroscédasticité et de non-stationnarité, que les ensembles d’acquisition multi-objectifs basés sur des solutions du front de Pareto améliorent la qualité des configurations interrogées, et que les maximiseurs d’acquisition robustes offrent un avantage empirique par rapport à leurs homologues non robustes. Nous espérons que ces résultats pourront servir de principes directeurs pour les praticiens de l’optimisation bayésienne. Le code source est entièrement disponible à l’adresse suivante : https://github.com/huawei-noah/HEBO.