要約
効率的かつ疎な深層ニューラルネットワークモデルの探索は、主にプルーニングによって行われている：過剰パラメータ化された密なネットワークを訓練し、通常は手作業で設計されたヒューリスティックに基づいてパラメータを削除する手法である。さらに、最近のロトタリーチケット仮説は、一般的なサイズのニューラルネットワークにおいて、初期状態から類似の計算コストで訓練することで元の密なネットワークと同等の性能を達成できる小さなサブネットワークを見つけることが可能であると推測している。本研究では、プルーニングアルゴリズムの基本的な側面を再検討し、これまでのアプローチで欠落していた要素を指摘するとともに、困難な $\ell_0$ 正則化の新しい近似法に基づく疎化手法「Continuous Sparsification」を開発した。この手法は、既存の主要なヒューリスティックベースの方法と比較して、プルーニングだけでなくロトタリーチケット探索（初期イテレーションからの成功した再訓練可能な疎いサブネットワークを見つけること）でも優れた結果を示す。実験結果は、VGGがCIFAR-10で訓練されたり、ResNet-50がImageNetで訓練されるなど、さまざまなモデルやデータセットにおいて両方の目的に対して最先端の性能を超えることを示している。Continuous Sparsificationは新たなプルーニング基準を設定するだけでなく、高速並列ロトタリーチケット探索も提供し、ロトタリーチケット仮説の新しい応用への道を開いている。