HyperAIHyperAI

Command Palette

Search for a command to run...

通过参数共享实现高效的神经架构搜索

Hieu Pham Quoc Le Melody Guan Barret Zoph Jeff Dean

摘要

我们提出了一种高效神经架构搜索方法(Efficient Neural Architecture Search, ENAS),这是一种快速且成本低廉的自动模型设计方法。ENAS构建了一个大型计算图,其中每个子图代表一种神经网络架构,从而强制所有架构共享参数。通过策略梯度方法训练一个控制器,以搜索在验证集上期望奖励最大的子图;与此同时,与所选子图对应的模型则通过最小化标准交叉熵损失进行训练。由于子模型之间共享参数,ENAS在显著降低计算成本的同时,仍能实现优异的实验性能,其所需的GPU时长远少于现有的自动模型设计方法,尤其相比传统的神经架构搜索(Neural Architecture Search)方法,成本降低了约1000倍。在Penn Treebank数据集上,ENAS发现了一种新颖的架构,测试困惑度达到56.3,与无需训练后处理的现有最先进方法性能相当;在CIFAR-10数据集上,ENAS所发现的架构取得了2.89%的测试误差,与NASNet(Zoph等,2018)的2.65%测试误差水平相当。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供