一般継続的学習におけるダークエクスペリエンス：強力で単純なベースライン

継続学習（Continual Learning）は、多数のアプローチや評価設定を生み出してきたが、その多くは実用的なシナリオの特性を無視している。すなわち、データストリームが明確なタスクの列として構造化できない状況や、オフライン学習が不可能な状況である。本研究では、タスク境界が曖昧になり、ドメインやクラス分布が徐々にあるいは急激に変化するという現実的な状況を想定した「一般継続学習（General Continual Learning: GCL）」に焦点を当てる。この課題に対して、リハーサル（rehearsal）と知識蒸留（knowledge distillation）、正則化を組み合わせるアプローチを提案する。シンプルなベースラインとして「ダークエクスペリエンスリプレイ（Dark Experience Replay）」を導入し、最適化過程全体にわたりネットワークのロジット（logits）をサンプリングすることで、過去の学習履歴との一貫性を促進する。標準ベンチマークおよび新しく提案したGCL評価設定（MNIST-360）を用いた広範な分析を通じて、この単純なベースラインが統合的な手法を上回り、限られたリソースを有効に活用できることを示した。さらに、本研究の目的関数の一般化能力について検証し、単なる性能向上にとどまらず、正則化効果が他の観点においても有益であることを明らかにした。