摘要
我们介绍了一种基于神经网络的持续学习算法，称为不确定性正则化持续学习（Uncertainty-regularized Continual Learning，UCL），该算法建立在传统的贝叶斯在线学习框架和变分推断基础上。本文重点关注最近提出的正则化方法中存在的两个显著问题：a) 确定每个权重的正则化强度所需的额外内存成本较高；b) 缺乏优雅遗忘机制，这可能导致在学习新任务时性能下降。在本文中，我们通过引入高斯均值场近似变分下界中的Kullback-Leibler（KL）散度项的新解释，展示了UCL可以解决这两个问题。基于这一解释，我们提出了节点级不确定性的概念，这大大减少了实现每个权重正则化的额外参数数量。此外，我们设计了两个附加的正则化项，这些项通过冻结对过去任务重要的参数来增强稳定性，并通过控制新任务中活跃学习的参数来允许可塑性。通过广泛的实验，我们证明UCL不仅在流行的监督学习基准上明显优于大多数近期的最先进基线方法，在具有挑战性的终身强化学习任务上也是如此。我们的算法源代码可在https://github.com/csm9493/UCL 获取。