摘要
我们提出了一种经济高效的端到端神经架构搜索（Neural Architecture Search, NAS）方法——随机神经架构搜索（Stochastic Neural Architecture Search, SNAS）。该方法在同一轮反向传播过程中同时训练神经操作参数和架构分布参数，同时保持了NAS流程的完整性和可微性。在本研究中，我们将NAS重新表述为一个针对单元搜索空间联合分布参数的优化问题。为了利用架构搜索中的通用可微损失函数中的梯度信息，我们提出了一种新颖的搜索梯度。我们证明了这种搜索梯度与基于强化学习的NAS优化相同的目标，但能更高效地分配结构决策的信用。此外，通过引入局部可分解奖励进一步增强了资源效率约束下的信用分配。在CIFAR-10上的实验表明，SNAS比非可微进化算法和基于强化学习的NAS需要更少的训练周期来找到具有最先进准确率的单元架构，并且该架构可以迁移到ImageNet上。实验还显示，SNAS生成的子网络在搜索过程中能够保持验证准确率，而基于注意力机制的NAS则需要重新训练参数才能达到竞争水平，这展示了SNAS在大规模数据集上实现高效NAS的潜力。我们的实现代码已发布在https://github.com/SNAS-Series/SNAS-Series。