摘要
权重剪枝是一种在实际部署中有效减小深度神经网络模型规模并降低推理时间的先进技术。然而，由于神经网络不同层之间的权重大小及其相对重要性差异显著，现有方法通常依赖人工调参或手工设计的启发式规则，为每一层单独确定合适的剪枝率，这种方法往往导致性能次优。本文提出一种名为概率掩码（Probabilistic Masking, ProbMask）的高效网络稀疏化方法，该方法直接在概率空间中进行操作，解决了在全局稀疏性约束下的自然稀疏化问题。其核心思想是引入概率作为统一的全局标准，用于衡量所有网络层中权重的重要性。ProbMask的一个显著优势在于，通过所设计的约束机制，能够自动学习各层中权重冗余的程度，从而避免了传统方法中需为网络中不同层分别调优剪枝率的难题。在CIFAR-10/100和ImageNet上的大量实验结果表明，本方法具有极高的有效性，尤其在高剪枝率场景下，显著优于以往最先进的方法，性能提升幅度明显。值得注意的是，ProbMask与现有方法在Top-1准确率上的差距最高可达10%。此外，作为副产物，我们还发现ProbMask在识别“超掩码”（supermasks）方面同样表现优异——即在随机初始化的密集神经网络中，能够有效发现具备高性能的子网络。