HEBO：推动样本高效超参数优化的极限

在本工作中，我们对黑箱优化中常见的超参数调优任务所依赖的假设进行了严谨分析。基于Bayesmark基准测试的结果，我们发现异方差性（heteroscedasticity）和非平稳性（non-stationarity）对黑箱优化器构成了显著挑战。基于这些发现，我们提出了一种新型的异方差与进化型贝叶斯优化求解器——HEBO（Heteroscedastic and Evolutionary Bayesian Optimisation）。HEBO能够实现非线性的输入与输出变换，支持精确的边缘对数似然优化，并对学习参数的取值具有较强的鲁棒性。我们在NeurIPS 2020黑箱优化挑战赛中验证了HEBO的实证有效性，其在该比赛中取得第一名。进一步分析表明，在涵盖108个机器学习超参数调优任务的Bayesmark基准上，HEBO显著优于现有的各类黑箱优化方法。我们的研究结果表明：大多数超参数调优任务均表现出异方差性和非平稳性特征；采用帕累托前沿（Pareto front）解的多目标采集函数集成策略，能够有效提升所查询配置的质量；而具备鲁棒性的采集函数最大化器相较于非鲁棒版本，展现出明显的实证优势。我们希望这些发现能为贝叶斯优化领域的实践者提供有益的指导原则。相关代码已开源，详见：https://github.com/huawei-noah/HEBO。