ParZC：用于高效神经架构搜索的参数化零成本代理

近期在零样本神经架构搜索（Zero-shot Neural Architecture Search, NAS）领域的进展表明，零成本代理（zero-cost proxies）在各类NAS基准测试中展现出显著的有效性。尽管已有若干研究提出通过自动化设计零成本代理以实现当前最优（SOTA）性能，但这些方法通常依赖繁琐的搜索过程。此外，我们发现现有零成本代理存在一个关键问题：它们在聚合节点级零成本统计量时，未考虑神经网络中各节点对性能估计的影响程度并不均等。我们的观察表明，不同节点的零成本统计量对性能预测的贡献存在显著差异，且每个节点均表现出不同程度的不确定性。基于这一洞察，我们提出一种新型方法——参数化零成本代理（Parametric Zero-Cost Proxies, ParZC）框架，通过引入参数化机制提升零成本代理的自适应能力。为解决节点间缺乏区分性的问题，我们设计了一种基于贝叶斯网络的混合架构（Mixer Architecture with Bayesian Network, MABN），用于深入探索节点级零成本统计量，并估计各节点特有的不确定性。同时，我们提出一种名为DiffKendall的可微分损失函数，能够直接优化Kendall Tau相关系数，从而使得ParZC在处理架构排序差异方面表现更为稳健。在NAS-Bench-101、NAS-Bench-201以及NDS等多个基准上的全面实验验证了所提ParZC方法相较于现有零样本NAS方法的优越性。此外，我们进一步展示了ParZC在不同搜索空间中的泛化能力与适应性，成功将其迁移至视觉Transformer（Vision Transformer）的架构搜索空间中，验证了其广泛适用性。