WSNet：通过权重采样学习紧凑高效的网络

我们提出一种新方法及一种新颖的网络架构——WSNet，用于学习紧凑且高效的深度神经网络。现有方法通常独立学习完整模型的参数，随后通过特定的压缩处理（如模型剪枝或滤波器分解）进行压缩。相比之下，WSNet提出通过从一组紧凑的可学习参数中采样来学习模型参数，从而在学习过程中自然地实现参数共享。我们证明，这种新颖的权重采样机制（及其所导出的WSNet架构）能够有效促进权重共享与计算共享。采用该方法，我们能够更高效地训练出规模显著更小的网络，在与基准网络具有相同卷积滤波器数量的情况下，仍可保持具有竞争力的性能。具体而言，本文聚焦于学习紧凑高效的1D卷积神经网络，用于音频分类任务。在多个音频分类数据集上的大量实验验证了WSNet的有效性。结合权重量化技术后，所得到的模型体积最大可缩小至基准模型的180倍，理论推理速度最快可达基准模型的16倍，且性能损失可忽略不计。