17 天前

IS-DARTS:通过精确测量候选重要性实现DARTS的稳定化

Hongyi He, Longjun Liu, Haonan Zhang, Nanning Zheng
IS-DARTS:通过精确测量候选重要性实现DARTS的稳定化
摘要

在现有的神经架构搜索(Neural Architecture Search, NAS)方法中,DARTS 以其高效性和简洁性著称。该方法通过引入网络表示的连续松弛,构建一个权重共享的超网络(supernet),仅需数天的 GPU 计算时间即可识别出性能优异的子网络。然而,DARTS 存在性能坍塌(performance collapse)问题,导致搜索出的架构充斥着无参数操作(parameter-free operations),严重制约了其鲁棒性,仍是该领域的一大挑战。为解决这一问题,本文通过理论分析与实验验证揭示,根本原因在于搜索空间中候选操作重要性估计存在偏差。为此,我们提出基于信息量度量的方法,实现对操作的更精确选择。此外,我们进一步发现,传统双层优化框架中对超网络的过度关注以及数据利用效率低下,也是导致次优结果的重要因素。为此,我们引入一个更贴近实际目标的优化目标,即聚焦于子网络的性能,并借助信息量度量方法对其进行简化。最后,我们从理论上阐明了逐步缩小超网络宽度的必要性,并有效降低了 DARTS 中最优权重近似误差。基于上述分析,我们提出了一种名为 IS-DARTS 的新方法,全面改进了 DARTS 的搜索机制,有效解决了上述问题。在 NAS-Bench-201 以及基于 DARTS 的搜索空间上的大量实验表明,IS-DARTS 在多个指标上均显著优于现有方法,充分验证了其有效性与优越性。