面向任务感知的持续学习的条件通道门控网络

卷积神经网络在依次优化一系列学习任务时，会遭遇灾难性遗忘问题：随着模型适应当前训练样本的目标，其在先前任务上的性能会急剧下降。在本工作中，我们提出一种基于条件计算的新框架，以应对这一挑战。我们为每个卷积层配备任务特定的门控模块，根据输入动态选择激活哪些卷积核。该方法带来了两个显著优势：首先，门控单元的激活模式可用来识别并保护对过往任务至关重要的卷积核，从而确保模型在已学习任务上的性能不下降；其次，通过引入稀疏性目标，可促使模型仅选择有限数量的卷积核，从而在保留足够模型容量以应对新任务的同时，实现高效计算。现有方法在测试阶段通常需要事先知晓每个样本所属的任务类别，但在许多实际场景中，这种任务标签信息可能不可获得。为此，我们进一步引入一个任务分类器，用于预测每个输入样本的任务标签，以应对缺乏任务先验信息的场景。我们在四个持续学习基准数据集上验证了所提方法的有效性。实验结果表明，无论是否存在任务先验信息，我们的模型均能持续优于现有方法。特别地，在Split SVHN和ImageNet-50数据集上，相较于现有方法，我们的模型准确率分别提升了最高达23.98%和17.42%。