常に夢を見続けよう：データフリークラス増分学習のための新アプローチ

現代のコンピュータビジョンアプリケーションは、時間の経過とともに新たな概念を段階的に学習する際、災害的忘却（catastrophic forgetting）に悩まされる。この問題を緩和する最も効果的なアプローチは、過去に学習したデータを広範囲に再再生（replay）することだが、メモリ制約やデータの合法性に関する懸念がある場合には、これに課題が生じる。本研究では、過去のタスクの生成モデルや学習データを一切保存せずに、時間とともに新たな概念を学習する「データフリー・クラス増分学習（Data-Free Class-Incremental Learning: DFCIL）」という高影響度の課題に着目する。DFCILの一つのアプローチとして、学習者の分類モデルの固定コピーを逆転させて合成画像を再生成する方法があるが、本研究では、標準的な知識蒸留（distillation）戦略を用いた場合、このアプローチが一般的なクラス増分ベンチマークにおいて失敗することを示す。本研究では、この失敗の原因を解明し、DFCIL向けに新たな増分型知識蒸留戦略を提案する。具体的には、修正されたクロスエントロピー学習と重要度重み付き特徴蒸留を導入し、提案手法が一般的なクラス増分ベンチマークにおいて、既存の最先端（SOTA）DFCIL手法と比較して、最終タスクの精度を最大で25.1%（絶対差）向上させることを実証した。さらに、一部の画像コアセット（coreset）を保存する従来の再再生ベースの手法に対しても、本手法は優れた性能を発揮している。