要約
重みプルーニングは、実世界でのディープニューラルネットワークのモデルサイズと推論時間の削減に効果的な技術である。しかし、ニューラルネットワークの異なる層において重みの大きさや相対的な重要度が大きく異なるため、従来の手法は各層に対して個別に適切なプルーニング率を見つけるために、手動での調整や手作業で設計されたヒューリスティックルールに依存している。このアプローチは一般的に最適な性能を発揮しない。本論文では、確率空間に直接アプローチすることで、グローバルなスパース制約の下で自然なスパース化定式化を解く有効なネットワークスパース化手法である「確率マスキング（ProbMask）」を提案する。その核心的なアイデアは、すべての層に対して重みの重要度を測定するためのグローバルな基準として確率を利用する点にある。ProbMaskの魅力的な特徴は、我々が設けた制約を通じて重みの冗長性の程度を自動的に学習できることであり、ネットワーク内の異なる層に対して個別にプルーニング率を調整するという問題を回避できる点である。CIFAR-10/100およびImageNetにおける広範な実験結果から、本手法が極めて有効であることが示され、特に高プルーニング率の状況下では、従来の最先端手法を著しく上回ることが確認された。特に注目すべきは、ProbMaskと既存手法との間のTop-1精度の差が最大で10％に達することである。付加的な成果として、ProbMaskがランダムに初期化された密集型ニューラルネットワーク内において、高い性能を示すサブネットワーク（スーパーマスク）を効果的に同定できることも示した。