摘要
可微架构搜索（Differentiable Architecture Search, DARTS）因其高效的搜索效率和出色的性能表现，显著推动了神经架构搜索（NAS）技术的发展，但其仍面临性能崩溃（performance collapse）的问题。本文从两个方面致力于缓解DARTS中的性能崩溃问题。首先，我们深入研究了DARTS中超网络（supernet）的表达能力，进而提出一种新型DARTS范式，该范式仅需训练批归一化（BatchNorm）参数，从而提升模型的稳定性和表达能力。其次，我们从理论上发现，随机特征（random features）会弱化跳跃连接（skip-connection）在超网络优化中的辅助作用，使搜索算法能够更公平地选择操作，从而有效缓解性能崩溃问题。基于上述发现，我们分别在DARTS和PC-DARTS中引入随机特征，构建了两个改进版本，分别命名为RF-DARTS和RF-PC-DARTS。实验结果表明，RF-DARTS在CIFAR-10数据集上取得了94.36%的测试准确率，接近NAS-Bench-201中的最优结果；在从CIFAR-10迁移至ImageNet时，其达到最新的最先进水平，Top-1测试误差低至24.0%。此外，RF-DARTS在三个数据集（CIFAR-10、CIFAR-100和SVHN）以及四个搜索空间（S1–S4）上均表现出稳健的性能。更为重要的是，RF-PC-DARTS在ImageNet上取得了更优的结果，Top-1测试误差为23.9%，Top-5测试误差为7.1%，显著超越了直接在ImageNet上进行单路径、无训练和部分通道等范式搜索的代表性方法。