HEBO: Das Überwinden der Grenzen der stichproben-effizienten Hyperparameter-Optimierung

In dieser Arbeit analysieren wir rigoros die Annahmen, die typischerweise bei der Hyperparameter-Tuning-Aufgabe mittels Black-Box-Optimierung gemacht werden. Unsere Ergebnisse auf der Bayesmark-Benchmark zeigen, dass Heteroskedastizität und Nicht-Stationarität erhebliche Herausforderungen für Black-Box-Optimierer darstellen. Auf der Grundlage dieser Erkenntnisse stellen wir einen Heteroskedastischen und Evolutionären Bayesianischen Optimierer (HEBO) vor. HEBO führt nichtlineare Input- und Output-Warping durch, ermöglicht die exakte Optimierung der marginalen Log-Likelihood und ist robust gegenüber den Werten der gelernten Parameter. Wir demonstrieren die empirische Wirksamkeit von HEBO am NeurIPS 2020 Black-Box-Optimierungs-Challenge, bei der HEBO den ersten Platz belegte. Eine weitere Analyse zeigt, dass HEBO auf 108 Aufgaben des Bayesmark-Benchmarks zur Hyperparameter-Tuning in maschinellem Lernen signifikant besser abschneidet als bestehende Black-Box-Optimierer. Unsere Ergebnisse deuten darauf hin, dass die Mehrheit der Hyperparameter-Tuning-Aufgaben Heteroskedastizität und Nicht-Stationarität aufweisen, dass Mehrziel-Acquisition-Ensembles mit Pareto-Lösungen verbesserte Abfragkonfigurationen liefern und dass robuste Acquisitionsmaximierer im Vergleich zu ihren nicht-robusten Gegenstücken praktische Vorteile bieten. Wir hoffen, dass diese Erkenntnisse als Leitprinzipien für Anwender der Bayesianischen Optimierung dienen können. Der gesamte Quellcode ist unter https://github.com/huawei-noah/HEBO verfügbar.