18 天前

DU-DARTS:降低可微分架构搜索中的不确定性

{Xiaowei Li, Yiming Zeng, Jilin Mei, Zihao Sun, Longxing Yang, Yu Hu, Shun Lu}
DU-DARTS:降低可微分架构搜索中的不确定性
摘要

可微分神经架构搜索(DARTS)因其高效的搜索机制近年来受到广泛关注。然而,DARTS中候选操作之间的竞争会导致重要操作选择的不确定性显著增加,进而引发严重的性能下降问题。针对这一挑战,本文提出DU-DARTS方法,通过约束架构参数的分布趋近于独热(one-hot)分类分布,并用门控开关(gate switch)替代原有的零操作,有效降低了可微分架构搜索中的不确定性。该方法无需额外的搜索开销,在CIFAR-10、CIFAR-100和ImageNet数据集上分别取得了2.32%、16.74%和24.1%的测试误差,达到当前最优性能。此外,DU-DARTS在NAS-Bench-1Shot1和NAS-Bench-201基准上均能稳健地搜索到表现优异的网络架构,进一步验证了该方法的有效性。项目源代码已公开,地址为:https://github.com/ShunLu91/DU-DARTS。