要約
この変化の激しい世界において、新しい概念を継続的に学習できる能力は不可欠である。しかし、深層ニューラルネットワークは新しいカテゴリを学習する際、災難的忘却（catastrophic forgetting）という問題に直面する。この現象を緩和するため多くの研究が提案されてきたが、その多くは安定性と柔軟性のジレンマに陥るか、あるいは過度な計算量や記憶領域のオーバーヘッドを伴う。そこで、勾配ブースティングアルゴリズムが過去のアンサンブルモデルとターゲットモデルの残差を段階的にフィットする仕組みに着想を得て、新たな二段階学習枠組みFOSTERを提案する。本手法は、まずターゲットモデルと元のモデル出力との残差を適応的に捉えるために、動的に新しいモジュールを拡張する。次に、効果的な蒸留戦略により不要なパラメータおよび特徴次元を削除し、単一のバックボーンモデルの構造を維持する。本手法FOSTERは、CIFAR-100およびImageNet-100/1000において異なる設定下で検証された結果、最先端の性能を達成した。コードは以下のリンクから入手可能である：https://github.com/G-U-N/ECCV22-FOSTER。