摘要
网络剪枝可以在不损害性能的情况下减少过度参数化网络的计算成本。现有的剪枝算法通常预先定义剪枝后网络的宽度和深度，然后从未剪枝的网络中转移参数到剪枝后的网络中。为了打破剪枝后网络的结构限制，我们提出将神经架构搜索直接应用于寻找具有灵活通道和层大小的网络。通过最小化剪枝后网络的损失来学习通道和层数量。剪枝后网络的特征图是由K个不同大小的网络生成的K个特征图片段聚合而成，这些片段是根据概率分布采样的。损失不仅可以反向传播到网络权重，还可以反向传播到参数化的分布中，以显式调整通道和层数量。具体而言，我们在聚合过程中应用了通道级插值（channel-wise interpolation），以保持不同通道数量的特征图对齐。每个分布中的最大概率值决定了剪枝后网络的宽度和深度，其参数则通过知识迁移（例如知识蒸馏）从原始网络中学习得到。在CIFAR-10、CIFAR-100和ImageNet上的实验表明，我们的新视角在网络剪枝方面相比传统方法的有效性。我们还进行了各种搜索和知识迁移方法的研究，以展示这两个组件的有效性。代码地址：https://github.com/D-X-Y/NAS-Projects。