基于单路径和均匀采样的一次性神经架构搜索

我们重新审视了一次性神经架构搜索（Neural Architecture Search, NAS）范式，并分析了其相对于现有NAS方法的优势。然而，现有的一次性方法在训练上较为困难，且在大规模数据集如ImageNet上的效果尚不理想。本研究提出了一种单路径一次性模型（Single Path One-Shot model），以应对训练中的挑战。我们的核心思想是构建一个简化的超级网络（supernet），其中所有架构均为单一路径，从而缓解权重协同适应问题。训练过程通过均匀路径采样进行，所有架构及其权重均得到充分且平等的训练。全面的实验验证了我们方法的灵活性和有效性。该方法易于训练且搜索速度快。它能够轻松支持复杂的搜索空间（例如，构建模块、通道、混合精度量化）以及不同的搜索约束条件（例如，浮点运算次数、延迟）。因此，该方法便于满足各种需求，并在大规模数据集ImageNet上取得了最先进的性能。