NAS-LID：基于局部内在维度的高效神经架构搜索

一次性神经架构搜索（One-shot Neural Architecture Search, NAS）通过训练一个超网络（supernet）来估计所有可能的子架构（即子网络，subnet）的性能，显著提升了搜索效率。然而，由于不同子网络之间特征的一致性较差，导致优化过程中产生严重的干扰，进而造成子网络性能排名的相关性较差。后续研究尝试通过特定准则（如梯度匹配）对超网络权重进行分解，以降低干扰，但这类方法往往伴随着巨大的计算开销，且在特征空间中的可分离性较低。本文提出了一种轻量且高效的方法——基于局部内在维度（Local Intrinsic Dimension, LID）的神经架构搜索方法，简称 NAS-LID。NAS-LID 通过逐层计算低成本的 LID 特征，评估各类架构的几何属性。与梯度相比，LID 所刻画的相似性具有更优的可分离性，因而能有效缓解子网络间的干扰。在 NASBench-201 上的大量实验表明，NAS-LID 在保持优异性能的同时显著提升了搜索效率。具体而言，相较于基于梯度的方法，NAS-LID 在 NASBench-201 上搜索时可节省高达 86% 的 GPU 内存开销。此外，我们还在 ProxylessNAS 和 OFA 架构空间中验证了 NAS-LID 的有效性。源代码地址：https://github.com/marsggbo/NAS-LID。