可学习稀疏性的软阈值权重重参数化

深度神经网络（DNNs）中的稀疏性研究广泛聚焦于在给定总体参数预算的前提下最大化预测精度。现有方法通常依赖于均匀或基于启发式的非均匀稀疏性预算，这类方法在层间参数分配上存在次优问题，导致a）预测精度降低，或b）推理计算成本（FLOPs）升高。本文提出一种新颖的软阈值重参数化方法（Soft Threshold Reparameterization, STR），该方法将软阈值算子应用于DNN权重，能够在学习过程中平滑地诱导稀疏性，同时自动优化剪枝阈值，从而获得非均匀的稀疏性预算。所提方法在卷积神经网络（CNNs）中实现了非结构化稀疏性下的最先进精度表现，涵盖ImageNet-1K数据集上的ResNet50与MobileNetV1模型；此外，其学习得到的非均匀稀疏预算在实验中可将FLOPs降低高达50%。尤为突出的是，在极低稀疏度（99%稀疏）条件下，STR相较现有方法可将精度提升最高达10%；同时，该方法还可用于在循环神经网络（RNNs）中诱导低秩结构化稀疏性。简而言之，STR是一种简洁有效的机制，能够自动学习优于主流启发式策略的稀疏性预算。相关代码、预训练模型及稀疏性配置文件详见：https://github.com/RAIVNLab/STR。