2 个月前

部分顺序剪枝:在神经架构搜索中实现最佳的速度/精度权衡

Xin Li; Yiming Zhou; Zheng Pan; Jiashi Feng
部分顺序剪枝:在神经架构搜索中实现最佳的速度/精度权衡
摘要

在实际部署深度神经网络时,实现目标平台上的速度与精度之间的良好权衡非常重要。然而,现有的大多数自动架构搜索方法仅专注于高性能。在这项工作中,我们提出了一种算法,可以提供更好的搜索网络的速度与精度权衡,该算法被称为“部分顺序剪枝”(Partial Order Pruning)。它基于部分顺序假设来修剪架构搜索空间,从而自动搜索出具有最佳速度和精度权衡的架构。我们的算法显式地考虑了目标平台上推理速度的配置信息。通过该算法,我们展示了多个东风(Dongfeng, DF)网络,这些网络在各种应用GPU平台上提供了高精度和快速推理速度。进一步搜索解码器架构后,我们的DF-Seg实时分割网络在目标嵌入式设备和高端GPU上均实现了最先进的速度与精度权衡。