摘要
我们提出了一种高效神经架构搜索方法（Efficient Neural Architecture Search, ENAS），这是一种快速且成本低廉的自动模型设计方法。ENAS构建了一个大型计算图，其中每个子图代表一种神经网络架构，从而强制所有架构共享参数。通过策略梯度方法训练一个控制器，以搜索在验证集上期望奖励最大的子图；与此同时，与所选子图对应的模型则通过最小化标准交叉熵损失进行训练。由于子模型之间共享参数，ENAS在显著降低计算成本的同时，仍能实现优异的实验性能，其所需的GPU时长远少于现有的自动模型设计方法，尤其相比传统的神经架构搜索（Neural Architecture Search）方法，成本降低了约1000倍。在Penn Treebank数据集上，ENAS发现了一种新颖的架构，测试困惑度达到56.3，与无需训练后处理的现有最先进方法性能相当；在CIFAR-10数据集上，ENAS所发现的架构取得了2.89%的测试误差，与NASNet（Zoph等，2018）的2.65%测试误差水平相当。