要約
現代のニューラルネットワークは、変化するトレーニングデータのストリームから学習する能力に制限がある。新しいあるいは進化するタスクに対して逐次的に学習を行うと、精度が急激に低下するため、多くの現実世界の応用において不適切となる。本研究では、クラス増分学習（class-incremental learning, class-IL）設定において、広く知られてはいるが未解決の現象である「災害的忘却（catastrophic forgetting）」の原因に光を当てる。我々は、単純な構成要素とタスク内学習とタスク間学習のバランスを取る損失関数を組み合わせることで、文献に提案されたより複雑な手法と同等の忘却回避効果が得られることを示す。さらに、クラス-ILにおける災害的忘却のもう一つの要因として、学習された表現の質の低さを特定した。モデルが副次的なクラス情報（ダークナレッジ）を学習する程度と性能の間に相関があることを示し、適切な正則化項を導入することで性能を向上させられることを明らかにした。これらの知見をもとに、CIFAR-100およびImageNetにおけるクラス増分学習の結果は、従来の最先端技術を大幅に上回りつつ、アプローチの簡潔さを維持している。