密集连接的搜索空间以实现更灵活的神经架构搜索

神经架构搜索（NAS）显著推进了神经网络设计的发展。我们重新审视了大多数先前NAS方法中的搜索空间设计，发现块的数量和宽度通常是手动设置的。然而，块的数量和宽度决定了网络规模（深度和宽度），并对模型的精度和成本（FLOPs/延迟）产生重大影响。在本文中，我们提出了一种通过设计密集连接的搜索空间来搜索块数量和块宽度的方法，即DenseNAS。新的搜索空间表示为一个密集超级网络，该网络基于我们设计的路由块构建。在超级网络中，路由块之间密集连接，我们在这些路由块之间搜索最佳路径以推导出最终架构。我们进一步提出了一种链式成本估算算法，在搜索过程中近似计算模型成本。DenseNAS同时优化了精度和模型成本。在基于MobileNetV2的搜索空间实验中，DenseNAS在ImageNet上实现了75.3%的Top-1精度，仅需361百万次浮点运算（FLOPs）和17.9毫秒延迟（单个TITAN-XP）。由DenseNAS搜索到的更大模型达到了76.1%的精度，仅需479百万次浮点运算。此外，DenseNAS还分别通过减少2亿、6亿和6.8亿次浮点运算，将ResNet-18、-34和-50-B在ImageNet上的分类精度提升了1.5%、0.5%和0.3%。相关代码可在https://github.com/JaminFong/DenseNAS获取。