
摘要
人工智能(AI)已经推动了各行业的创新并创造了新的机遇。然而,利用特定领域的知识通常需要自动化工具来有效设计和配置模型。在深度神经网络(DNNs)的情况下,研究人员和实践者通常依赖于神经架构搜索(NAS)方法,这些方法资源密集且耗时较长,需要训练和评估大量候选架构。这引发了可持续性问题,尤其是由于其高能耗需求,形成了一种悖论:追求最有效的模型可能会损害可持续发展目标。为了解决这一问题,零成本代理(zero-cost proxies)作为一种有前景的替代方案应运而生。这些代理可以在无需完全训练的情况下估计模型性能,提供了一种更高效的方法。本文通过自动设计零成本代理来解决模型评估的挑战,以高效评估深度神经网络。我们的方法从一组随机生成的零成本代理开始,使用NATS-Bench基准对其进行演化和测试。我们通过随机采样和分层采样的子集对代理的有效性进行评估,确保它们能够区分低性能和高性能网络,并提高泛化能力。结果显示,我们的方法在分层采样策略上优于现有方法,在CIFAR-10数据集上与实际性能的相关性达到0.89,在CIFAR-100数据集上达到0.77(使用NATS-Bench-SSS),以及在CIFAR-10数据集上达到0.78,在CIFAR-100数据集上达到0.71(使用NATS-Bench-TSS)。