基于通用图结构的神经架构编码方案用于基于预测器的NAS

本文提出了一种基于图的神经架构编码方案——GATES（Graph-based neural ArchiTecture Encoding Scheme），旨在提升基于预测器的神经架构搜索（NAS）性能。与现有的基于图的编码方法不同，GATES将网络操作建模为传播信息的变换过程，更真实地模拟了神经网络架构的实际数据处理机制。该方法对神经架构的建模更为合理，能够一致地编码来自“节点上的操作”和“边上的操作”两种细胞搜索空间的架构。在多种搜索空间上的实验结果表明，GATES显著提升了性能预测器的准确性。此外，结合改进后的性能预测器，基于预测器的神经架构搜索流程的样本效率也得到明显提升。相关代码已开源，地址为：https://github.com/walkerning/aw_nas。