要約
新しいニューラルネットワークを基盤とする継続学習アルゴリズムである不確実性正則化継続学習（Uncertainty-regularized Continual Learning, UCL）を紹介します。このアルゴリズムは、伝統的なベイジアンオンライン学習フレームワークにおける変分推論に基づいています。本研究では、最近提案された正則化ベースの手法の2つの重要な欠点に焦点を当てます：a) 重みごとの正則化強度を決定するために大幅な追加メモリコストが発生することと、b) 新しいタスクを学習する際の性能劣化を防ぐための優雅な忘却スキームが欠如していることです。本論文では、ガウス平均場近似の変分下限に対するカルバック・レーバー（Kullback-Leibler, KL）ダイバージェンス項について新たな解釈を導入することで、これらの2つの問題を解決できることを示します。この解釈に基づき、ノードごとの不確実性という概念を提案し、重みごとの正則化を実装する際に必要となる追加パラメータ数を大幅に削減します。さらに、過去のタスクに対して重要なパラメータを固定して安定性を確保し、新しいタスクに対して積極的に学習するパラメータを制御して可塑性を許す2つの追加正則化項を開発しました。広範な実験を通じて、UCLが最近の最先端ベースライン手法よりも優れていることを示しています。これは単に一般的な教師あり学習ベンチマークだけでなく、困難な生涯強化学習タスクにおいても同様です。当アルゴリズムのソースコードは https://github.com/csm9493/UCL で公開されています。