学習可能なスパース性のためのソフトしきい値重み再パラメータ化

深層ニューラルネットワーク（DNN）におけるスパース性は、全体的なパラメータ予算を限定した条件下で予測精度を最大化することを目的として広く研究されている。従来の手法は、均一またはヒューリスティックな非均一スパース性予算に依存しており、これによりレイヤーごとのパラメータ配分が最適化されておらず、その結果、a) 予測精度の低下、または b) 推論コスト（FLOPs）の増加という問題が生じている。本研究では、DNNの重みにソフトスレッショルド演算子を新たなアプローチで適用する「ソフトスレッショルド再パラメータ化（Soft Threshold Reparameterization, STR）」を提案する。STRは学習過程においてスパース性を滑らかに誘導しつつ、同時にプリューニング閾値を学習することで、非均一なスパース性予算を獲得する。本手法は、CNN（ImageNet-1Kデータセット上のResNet50およびMobileNetV1）における非構造的スパース性において、最先端の精度を達成するとともに、実証的にFLOPsを最大50%まで削減する非均一なスパース性予算を学習可能である。特に、極めてスパースな状態（99%スパース）において、従来手法よりも最大10%の精度向上を実現しており、さらにRNNにおいて低ランク（構造的スパース性）を誘導する応用も可能である。要するに、STRは、一般的なヒューリスティックとは対照的に、効果的なスパース性予算を学習するシンプルなメカニズムである。コード、事前学習済みモデル、およびスパース性予算は、https://github.com/RAIVNLab/STR にて公開されている。