HyperAIHyperAI

Command Palette

Search for a command to run...

Zen-NAS:一种面向高性能深度图像识别的零样本NAS

Ming Lin Pichao Wang Zhenhong Sun Hesen Chen Xiuyu Sun Qi Qian Hao Li Rong Jin

摘要

准确率预测器是神经架构搜索(Neural Architecture Search, NAS)中用于对候选架构进行排序的关键组件。然而,构建高质量的准确率预测器通常需要巨大的计算开销。为解决这一问题,我们提出了一种新颖的零样本指标——Zen-Score,用以替代传统的准确率预测器来对架构进行排序。Zen-Score 反映了网络的表达能力,并与模型的实际准确率呈正相关。其计算仅需对一个随机初始化的网络进行少量前向推理,无需训练网络参数。基于 Zen-Score,我们进一步提出了一种新的 NAS 算法——Zen-NAS,该算法在给定推理预算条件下,通过最大化目标网络的 Zen-Score 来实现高效搜索。在不到半张 GPU 日的计算开销内,Zen-NAS 即可实现无需数据的端到端高性能架构搜索。相较于以往的 NAS 方法,Zen-NAS 在多个服务器端与移动端 GPU 平台上均展现出数量级的加速性能,同时在 ImageNet 上达到了当前最优的准确率水平。相关源代码与预训练模型已开源,地址为:https://github.com/idstcv/ZenNAS


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供