効率的な生涯学習におけるA-GEMの活用

生涯学習において、学習者は一連のタスクに順次対処し、データ駆動型の事前知識を段階的に構築します。この事前知識は、新しいタスクの学習を加速するために活用されます。本研究では、サンプル複雑さ、計算コスト、メモリコストという観点から、現在の生涯学習アプローチの効率性を調査しました。そのためにまず、より現実的な評価プロトコルを導入しました。このプロトコルでは、学習者は各例を一度だけ観察し、ハイパーパラメータ選択は小さな独立したタスクセットで行われます。これらのタスクセットは実際の学習経験や評価には使用されません。次に、学習者が新しいスキルをどれだけ早く獲得するかを測定する新しい指標を提案しました。さらに、Lopez-PazとRanzato（2017）によって提案されたGEM（Gradient Episodic Memory）の改良版であるAveraged GEM（A-GEM）を提案します。A-GEMはGEMと同等かそれ以上の性能を持ちつつ、EWC（Elastic Weight Consolidation）（Kirkpatrickら, 2016）や他の正則化ベースの手法と同様に計算コストとメモリ効率が高くあります。最後に、考慮されている分類タスクを指定するタスク記述子が提供されると、すべてのアルゴリズムがさらに速く学習できることを示しました。我々のいくつかの標準的な生涯学習ベンチマークでの実験結果は、A-GEMが精度と効率性との間で最良のバランスを持っていることを示しています。科技/学术术语处理：生涯学習 (lifelong learning)データ駆動型 (data-driven)事前知識 (prior)サンプル複雑さ (sample complexity)計算コスト (computational cost)メモリコスト (memory cost)評価プロトコル (evaluation protocol)ハイパーパラメータ選択 (hyper-parameter selection)分類タスク (classification tasks)タスク記述子 (task descriptors)Gradient Episodic Memory (GEM): グラディエントエピソード記憶法Averaged GEM (A-GEM): 平均化グラディエントエピソード記憶法Elastic Weight Consolidation (EWC): 弾性重み統合法注釈：「データ駆動型」は一般的な訳語です。「サンプル複雑さ」は「サンプル複雑度」とも訳されることがあります。「ハイパーパラメータ選択」は「ハイパーパラメータ調整」とも訳されることがあります。「分類タスク」は「分類問題」とも訳されることがあります。「タスク記述子」は「タスクリプレゼンテーション」とも訳されることがあります。GEM, A-GEM, EWC などの技術用語については括弧内に原文を付けています。