LayerNAS：多项式复杂度下的神经架构搜索

神经架构搜索（Neural Architecture Search, NAS）已成为发现高效模型架构的流行方法，尤其在面向特定硬件目标时表现突出。因此，能够在各类约束条件下寻找最优架构的NAS方法至关重要。在本文中，我们提出LayerNAS，通过将多目标NAS问题转化为组合优化问题，有效解决了该挑战，从而将搜索复杂度控制在多项式级别。对于一个包含 $L$ 层的模型架构，LayerNAS对每一层进行逐层搜索，从一组候选操作集合 $\mathbb{S}$ 中选择最优配置。LayerNAS首先根据某一目标（如模型大小或延迟）对候选模型进行分组，然后在该分组基础上，基于另一目标寻找最优模型，从而将搜索过程中的代价与收益要素进行解耦。该方法将整体搜索复杂度限制在 $ O(H \cdot |\mathbb{S}| \cdot L) $，其中 $H$ 为LayerNAS中预设的常数。实验结果表明，与多种强基准方法相比，LayerNAS在多个不同搜索空间中均能稳定发现性能更优的模型，这些搜索空间涵盖来自NATS-Bench、MobileNetV2和MobileNetV3的架构空间。