継続学習における小さなエピソード記憶について

継続学習（Continual Learning: CL）において、エージェントはタスクの流れから学習し、過去の経験を活用して知識を将来のタスクに転送します。これは、既存の学習アルゴリズムにおける監督量を減少させる理想的なフレームワークです。しかし、成功した知識転送のために、学習者は過去のタスクの実行方法を記憶する必要があります。過去に見たタスクを実行する能力を与えるための一つの方法は、過去のタスクから少数の例を保存する小さなメモリ、いわゆるエピソード記憶（episodic memory）を保持し、将来のタスクで訓練する際にこれらの例を再現することです。本研究では、各訓練例が一度しか見られないCL設定において、非常に小さなエピソード記憶の効果性について実証的に分析しました。驚くことに、CLに適応された4つの異なる教師あり学習ベンチマークにおいて、現在のタスクとエピソード記憶に保存された例を使用して共同で訓練を行う非常に単純なベースラインが、エピソード記憶を使用または使用しない特別に設計されたCLアプローチよりも有意に優れた性能を示しました。興味深いことに、過去のタスクに関するわずかな記憶でも反復訓練を行うことが汎化性能を損なわないだけでなく改善することがわかりました。クラスごとに1つの例のみを使用した場合でも、7%から17%の改善が見られました。