要約
従来、深層ニューラルネットワークは事前に準備された大規模なデータセットに依存してオフラインで学習されるのが一般的である。しかし、こうした学習アプローチは、継続的なデータストリームを扱うオンラインサービスなど、実世界の応用場面ではしばしば課題に直面する。近年、インクリメンタル学習（incremental learning）に注目が集まっており、上記のような実用的課題に対する有望な解決策とされている。しかし、インクリメンタル学習には根本的な難題が存在することが指摘されており、それは「災害的忘却（catastrophic forgetting）」と呼ばれる現象である。すなわち、モデルが新しいデータに適応する際、過去のタスクやクラスにおける性能が著しく低下してしまうという問題である。本研究では、この問題の背後にある重要な要因として、過去のデータと新しいデータの間に生じる不均衡が挙げられることを明らかにした。本研究では、統一的な分類器（例えば、古いクラスと新しいクラスを均等に扱う分類器）を段階的に学習するための新規フレームワークを提案する。具体的には、コサイン正規化、忘却抑制制約（less-forget constraint）、クラス間分離の3つの要素を統合することで、データの不均衡がもたらす悪影響を軽減する。実験の結果、提案手法は訓練プロセスのバランスを効果的に回復でき、従来手法と比較して優れた性能を達成することを示した。CIFAR-100およびImageNetにおいて、10段階のインクリメンタル学習設定下で、分類誤差をそれぞれ6%以上、13%以上削減する効果が確認された。