HEBO：サンプル効率の高いハイパラメータ最適化の限界に挑戦

本研究では、ブラックボックス最適化におけるハイパーパラメータチューニングタスクに内在する仮定を厳密に分析する。Bayesmarkベンチマーク上での実験結果から、非定常性（non-stationarity）および異分散性（heteroscedasticity）がブラックボックス最適化手法にとって大きな課題であることが示された。これらの知見をもとに、異分散性に対応し、進化的なベイズ最適化を統合したHEBO（Heteroscedastic and Evolutionary Bayesian Optimisation）を提案する。HEBOは非線形な入力・出力ワーピングを実装し、正確な周辺尤度（marginal log-likelihood）の最適化を可能にするとともに、学習されたパラメータの値に強くロバストである。NeurIPS 2020 ブラックボックス最適化チャレンジにおける実証実験では、HEBOが1位を獲得した。さらに詳細な分析により、Bayesmarkベンチマークに含まれる108の機械学習ハイパーパラメータチューニングタスクにおいて、HEBOが既存のブラックボックス最適化手法を顕著に上回ることが確認された。本研究の結果から、多くのハイパーパラメータチューニングタスクが異分散性と非定常性を示すことが明らかになった。また、パレート前沿解を考慮した多目的獲得関数アンサンブルが、より優れた探索構成を生成し、ロバストな獲得関数最大化手法は非ロバストな手法に比べて実証的な利点を有することが明らかになった。これらの知見が、ベイズ最適化の実践者にとっての指針となることを期待する。本研究のすべてのコードは、https://github.com/huawei-noah/HEBO にて公開されている。