神経再生によるプリューニングの柔軟性を強化したスパーストレーニング

現在、トレーニング後におけるプリューニング（反復的マグニチュードプリューニング）およびトレーニング前におけるプリューニング（初期化時におけるプリューニング）の分野で、ロトゥリーチケット仮説（LTH）およびシングルショットネットワークプリューニング（SNIP）に関する研究が注目を集めている。前者の手法は極めて高い計算コストを伴い、後者の手法は一般的に性能が十分に発揮されないという課題を抱えている。これに対し、トレーニング中にプリューニングを行う方法——いわゆる「トレーニング中プリューニング」——は、トレーニングおよび推論の効率性と比較可能な性能を両立する可能性を有しているものの、現時点ではまだ十分に探求されていない。トレーニング中プリューニングの理解を深めるために、本研究ではプリューニングの可塑性（プリューニング後のネットワークが元の性能を回復する能力）という観点から、トレーニング全体を通じたプリューニングの影響を定量的に分析した。プリューニング可塑性は、既存のニューラルネットワークプリューニングに関するいくつかの経験的事実を説明する手がかりとなる。さらに、この可塑性は、脳に着想を得た「ニューロレジェネレーション」と呼ばれるメカニズム——つまり、プリューニングされた接続と同数の接続を再生成する——を導入することで顕著に向上することを発見した。本研究では、この知見を基に、新たな徐々にマグニチュードをプリューニングする手法、すなわち「ゼロコストのニューロレジェネーションを備えた徐々なプリューニング（GraNet）」を提案し、現在の最先端技術をさらに進展させた。特に注目すべきは、GraNetのスパースからスパースへのバージョンが、ResNet-50をImageNet上で用いて、トレーニング時間を延長せずに、さまざまなデュースからスパースへの手法を上回る性能を達成した点である。本研究で開発したすべてのコードは、https://github.com/Shiweiliuiiiiiii/GraNet にて公開している。