摘要
基于预测器的神经架构搜索（Predictor-based Neural Architecture Search, NAS）持续受到广泛关注，其核心目标在于缓解传统NAS方法搜索过程耗时过长的问题。在基于预测器的NAS方法中，性能预测器的准确性直接决定了最终搜索得到模型的质量。现有大多数方法在代理数据集（proxy dataset）设定下训练基于模型的预测器，但这类方法往往面临性能下降与泛化能力不足的问题，主要原因在于其对图结构数据的空间拓扑信息建模能力较弱。此外，现有方法在训练过程中未能有效利用诸如历史评估结果等时间序列信息。针对上述问题，本文提出一种基于Transformer的NAS性能预测器，并引入基于拉普拉斯矩阵（Laplacian matrix）的位置编码策略，以更精准地捕捉图结构数据的空间拓扑特性，从而在NAS-Bench-101、NAS-Bench-201以及DARTS搜索空间上均取得了优于当前最先进方法的性能表现。进一步地，我们设计了一种自进化（self-evolution）框架，能够充分利用历史评估等时间信息作为优化过程中的指导信号。该框架通过将先前预测结果的评估值作为约束条件，动态融入当前优化迭代中，从而持续提升预测器的性能。该框架具有模型无关性（model-agnostic）特性，可有效提升多种主干网络结构在性能预测任务上的表现。本研究所提出的整体方法在CVPR 2021 NAS竞赛第二赛道——性能预测赛道（Performance Prediction Track）中，助力团队取得第二名的优异成绩。