17 天前

基于高效性能估计的引导式进化神经架构搜索

Vasco Lopes, Miguel Santos, Bruno Degardin, Luís A. Alexandre
基于高效性能估计的引导式进化神经架构搜索
摘要

神经架构搜索(Neural Architecture Search, NAS)方法在图像任务中已取得显著成果。然而,现有NAS方法通常结构复杂,且在生成的网络架构表现出良好性能时,容易过早收敛至局部最优解。本文提出一种新型引导式NAS方法——GEA(Guided Evolutionary Architecture search)。GEA通过在初始化阶段利用零代理估计器(zero-proxy estimator)生成并评估多组候选架构,从而探索搜索空间;在每一代中仅保留得分最高的架构进行训练,并传递至下一代。随后,GEA在不增加计算复杂度的前提下,持续从现有架构中生成多个子代架构,不断提取搜索空间中的知识。此外,GEA通过后代生成机制强化对高性能架构的利用,同时通过父代突变实现探索,并优先选择较新的架构,抑制较旧架构的延续。实验结果表明,所提方法具有显著有效性,大量消融实验进一步验证了各关键参数的重要性。在NAS-Bench-101、NAS-Bench-201以及TransNAS-Bench-101三个基准数据集上,GEA均取得了当前最优(state-of-the-art)的性能表现。