要約
スパース性学習（Sparsity learning）は、大規模な深層ニューラルネットワーク（DNN）の計算コストおよびメモリ消費を削減するため、ニューロン間の接続を剪定（pruning）する手法でありながら、高い精度を維持することを目的としています。これまでに多数のスパース性学習アプローチが提案されており、最近の大規模な実験では、マグニチュード剪定（magnitude pruning）と変分ドロップアウト（Variational Dropout: VD）という2つの主要な手法が、分類タスクにおいて類似した最先端の性能を達成することが示されています。本研究では、各層において隣接行列（adjacency matrix）を用いてニューロン間の細粒度な接続を明示的にパラメータ化する「適応的ニューロン接続」（Adaptive Neural Connections: ANC）を提案します。この隣接行列は逆伝播（backpropagation）によって学習されます。ニューロン間接続の明示的パラメータ化により、以下の2つの主な利点が得られます：1. 隣接行列に対するノルム正則化を用いることで、スパース性を明示的に最適化可能となる；2. VDと組み合わせた場合（これをANC-VDと呼ぶ）、隣接行列は学習された重みの重要度パラメータとして解釈可能であり、この性質がVDの収束性の向上に寄与すると仮説を立てます。ResNet18を用いた実験の結果、ANCを導入したアーキテクチャが、従来型のモデルを上回る性能を示しました。