摘要
稀疏性学习旨在通过剪枝神经网络连接的方式，降低大规模深度神经网络（DNN）的计算与内存开销，同时保持较高的模型精度。已有大量研究提出了多种稀疏性学习方法，近期的大规模实验表明，两种主流方法——基于幅度的剪枝（magnitude pruning）与变分丢弃法（Variational Dropout, VD）——在分类任务上均能取得相近的最先进性能。本文提出一种名为自适应神经连接（Adaptive Neural Connections, ANC）的新方法，该方法通过在每一层显式地使用邻接矩阵参数化细粒度的神经元间连接，并利用反向传播进行学习。显式参数化神经元间连接带来了两大优势：其一，可通过在邻接矩阵上施加基于范数的正则化，直接优化稀疏性；其二，当与变分丢弃法结合使用时（我们称之为ANC-VD），邻接矩阵可被解释为学习得到的权重重要性参数，我们推测这有助于提升VD方法的收敛性能。在ResNet18上的实验结果表明，引入ANC机制的模型架构在性能上显著优于原始基准模型。