摘要
持续学习是深度学习领域中的一个核心挑战，其主要问题是如何在不遗忘先前任务知识的前提下，有效学习一系列陆续到来的新任务。自“无遗忘学习”（Learning without Forgetting, LwF）提出以来，大量现有方法表明，知识蒸馏（Knowledge Distillation, KD）在保留旧知识方面具有显著效果。因此，这些方法通常在单个神经网络中同时采用旧任务的软标签（即知识蒸馏损失）和新任务的硬标签（即交叉熵损失，Cross Entropy, CE），构成复合损失函数。然而，这一方法在实际应用中面临一个关键问题：当CE损失与KD损失在同一个网络中相互竞争时，CE损失往往对目标函数产生更强的影响，从而导致模型更倾向于学习新任务的类别信息，而忽视了对旧知识的保留。这一问题在类别增量学习（class-incremental learning）场景下尤为严重，因为在统一分类器的架构下，新任务内部以及跨任务之间的知识都只能通过CE损失来获取，而KD损失的相对弱化使得知识保留机制失效。针对上述问题，本文提出一种新颖的持续学习方法——Split-and-Bridge。该方法通过在训练新任务时，将神经网络部分地拆分为两个独立的模块，分别用于处理新旧任务，从而实现新旧知识的隔离训练；在需要融合跨任务知识时，再将两部分重新连接，以协同学习任务间的共享特征。这种“分而治之，再行融合”的策略有效缓解了损失函数之间的竞争冲突，显著提升了对旧知识的保留能力。在全面的实验评估中，所提出的Split-and-Bridge方法在基于知识蒸馏的持续学习任务中，显著优于当前最先进的基准方法。