摘要
网络剪枝是一种有效降低过参数化神经网络计算开销的方法，有助于其在资源受限系统上的部署。近年来，诸如权重重绕（weight rewinding）和学习率重绕（learning rate rewinding）等先进的再训练技术在恢复剪枝后损失的准确率方面已显示出优于传统微调方法的性能（Renda et al., 2020），但其背后的原因尚不明确。在本研究中，我们通过大量实验验证并分析了学习率重绕出人意料的有效性。结果表明，学习率重绕成功的关键在于使用较大的学习率。类似的现象也出现在其他采用大学习率的学习率调度策略中，例如1周期学习率调度（Smith et al., 2019）。通过在再训练过程中合理选择学习率调度策略，我们揭示了一个反直觉的现象：随机剪枝的网络甚至可能在性能上优于经过精心设计剪枝并采用传统微调方法处理的网络。我们的研究强调了在剪枝网络再训练中学习率调度的重要性——这一关键细节在实践中常被忽略。一句话总结：我们在剪枝过程中研究了不同再训练机制的有效性。