面向实用网络压缩的分组Fisher剪枝

网络压缩自提出以来受到广泛关注，因其能够在推理阶段显著降低内存占用和计算开销。然而，以往的方法很少能够有效处理残差连接、分组卷积（group convolution）与深度可分离卷积（depth-wise convolution）以及特征金字塔网络（feature pyramid network）等复杂结构，这些结构中多个层的通道之间存在耦合关系，需同时进行剪枝。本文提出一种通用的通道剪枝方法，可适用于多种复杂网络结构。特别地，我们设计了一种层分组算法，能够自动识别出相互耦合的通道。在此基础上，我们基于Fisher信息提出一种统一的度量指标，用于评估单个通道及耦合通道的重要性。此外，我们发现GPU上的推理加速更依赖于内存占用的减少，而非浮点运算量（FLOPs）的降低，因此采用每个通道带来的内存减少量对重要性进行归一化处理。所提方法可广泛应用于各类网络结构，包括存在通道耦合的情况。我们在多种骨干网络上进行了大量实验，涵盖经典的ResNet与ResNeXt、轻量级MobileNetV2以及基于神经架构搜索（NAS）的RegNet，并在图像分类与目标检测任务上均进行了验证，其中目标检测任务此前研究相对不足。实验结果表明，该方法能够有效剪枝复杂网络，在不损失精度的前提下显著提升推理速度。