基于贝叶斯优化和最优传输的神经架构搜索

贝叶斯优化（BO）是指一类用于全局优化函数$f$的方法，该函数仅能通过点评估访问。通常在$f$评估成本高昂的情况下使用。在机器学习中，BO的一个常见应用场景是模型选择，此时无法对统计模型的泛化性能进行解析建模，因此我们依赖于噪声较大且成本高昂的训练和验证过程来选择最佳模型。传统的BO方法主要集中在欧几里得和分类域上，在模型选择的背景下，这仅允许调整机器学习算法的标量超参数。然而，随着深度学习兴趣的激增，对调优神经网络\emph{架构}的需求也在不断增加。在这项工作中，我们开发了NASBOT，这是一种基于高斯过程的BO框架，用于神经架构搜索。为此，我们在神经网络架构空间中开发了一种距离度量方法，该方法可以通过最优传输程序高效计算。这种距离度量可能独立引起深度学习社区的兴趣，因为它可能在BO之外找到应用。我们展示了NASBOT在多层感知器和卷积神经网络的多个基于交叉验证的模型选择任务中优于其他架构搜索替代方案。