1 个月前
克服神经网络中的灾难性遗忘
James Kirkpatrick; Razvan Pascanu; Neil Rabinowitz; Joel Veness; Guillaume Desjardins; Andrei A. Rusu; Kieran Milan; John Quan; Tiago Ramalho; Agnieszka Grabska-Barwinska; Demis Hassabis; Claudia Clopath; Dharshan Kumaran; Raia Hadsell
摘要
顺序学习任务的能力对于人工智能的发展至关重要。神经网络通常并不具备这种能力，普遍认为灾难性遗忘是连接主义模型不可避免的特征。我们证明了可以克服这一限制，训练出能够在长时间未接触某些任务的情况下仍能保持专长的网络。我们的方法通过选择性地减缓对这些任务重要的权重的学习速度来记住旧任务。我们通过解决基于MNIST手写数字数据集的一系列分类任务以及顺序学习多个Atari 2600游戏，展示了该方法的可扩展性和有效性。