要約
生涯学習（lifelong learning）の設定において、エージェントが継続的に新しいタスクの流れに直面する場合、過去のタスクから得た知識を活用することで、新たなタスクの学習をより効果的に行うことができる。このような状況下では、効率的な知識表現の特定が大きな課題となる。従来の研究では、過去のタスクから一部の例をリプレイバッファに保存する、各タスクに個別のパラメータセットを割り当てる、あるいは正則化項を導入してパラメータの過度な更新を抑制するといったアプローチが提案されている。既存の手法は一般的に、タスクに依存しない確率的勾配降下法（stochastic gradient descent）の更新則を採用しているが、本研究ではタスクに依存する知識を考慮した最適化手法を提案する。この手法は、タスクごとに特有の勾配を蓄積することで、パラメータ更新における勾配の方向性を把握し、タスク間の類似性に基づいて学習率を動的に調整する。これらのタスク別に蓄積された勾配は、学習の進行に伴って維持・更新される知識ベースとして機能する。実験的に、提案する適応的学習率が災害的忘却（catastrophic forgetting）の抑制に加え、ポジティブな後方転送（positive backward transfer）を可能にすることを示した。さらに、多数のタスクを含む複雑なデータセットにおける生涯学習の設定において、本手法は複数の最先端手法を上回る性能を発揮することを確認した。