摘要
找出已训练深度神经网络（DNN）中计算冗余的部分，是剪枝算法所要解决的核心问题。现有诸多算法尝试通过引入多种评估方法来预测剪枝后子网络的模型性能，但这些方法要么预测精度不足，要么过于复杂，难以在通用场景中应用。本文提出一种名为EagleEye的剪枝方法，其核心在于引入了一种基于自适应批量归一化（adaptive batch normalization）的简单而高效的评估组件，该组件揭示了不同剪枝后的DNN结构与其最终收敛准确率之间存在显著相关性。这一强相关性使得我们能够在不实际微调的情况下，快速识别出具有最高潜在准确率的剪枝候选方案。此外，该评估模块具有良好的通用性，可无缝集成到现有剪枝算法中以提升其性能。实验结果表明，EagleEye在各项对比实验中均优于所研究的其他剪枝算法。具体而言，在剪枝MobileNet V1和ResNet-50模型时，EagleEye的性能相比所有对比方法最高提升达3.8%。即使在更具挑战性的场景——对MobileNet V1紧凑版模型进行剪枝的情况下，EagleEye仍取得了70.9%的最高Top-1 ImageNet分类准确率，同时实现了整体50%的计算量（FLOPs）压缩。所有准确率结果均以Top-1 ImageNet分类准确率为准。相关源代码与模型已开源，欢迎访问：https://github.com/anonymous47823493/EagleEye。