我々は本当に密度的な過パラメータ化を必要としているのか？ スパース学習における時系列的過パラメータ化

本稿では、過剰パラメータ化による高コストを回避しつつ、最先端の性能を達成可能な深層ニューラルネットワークの学習に関する新たな視点を提示する。具体的には、スパース学習における「時間内過剰パラメータ化（In-Time Over-Parameterization: ITOP）」という概念を提唱する。ランダムに初期化されたスパースネットワークから出発し、学習過程においてスパース接続構造を継続的に探索することで、時空間多様体上での過剰パラメータ化を実現し、スパース学習と密な学習の表現力のギャップを縮めることができる。さらに、ITOPを用いて動的スパース学習（Dynamic Sparse Training: DST）の背後にあるメカニズムを解明し、DSTの利点が、最適なスパース接続を探索する際に、時間的にわたってすべての可能なパラメータを考慮できる能力に起因することを示す。学習中に確実に探索された十分な数のパラメータが存在する限り、DSTは密なニューラルネットワークを大きく上回る性能を発揮できる。本研究では、これらの仮説を裏付ける一連の実験を提示し、ImageNet上におけるResNet-50を用いたスパース学習において、最先端の性能を達成した。特に印象的なのは、極めて高いスパース性においても、過剰パラメータ化に基づく従来のスパース学習手法に対して、本手法が優れた性能を発揮することである。CIFAR-100での実験では、98％という極めて高いスパース性下でも、密なモデルと同等の性能を達成している。コードは以下のGitHubリポジトリにて公開されている：https://github.com/Shiweiliuiiiiiii/In-Time-Over-Parameterization。