一句话总结

作者提出了一种半监督持续学习框架，该框架利用梯度学习器从有标签示例中预测无标签数据的梯度，从而将无标签样本整合到监督持续学习框架中。该方法在主流持续学习方法、对抗性持续学习以及半监督学习任务上均取得了最先进的分类准确率和负迁移表现，同时显著缓解了灾难性遗忘并提升了泛化能力。

核心贡献

• 引入了一种通用的半监督持续学习框架，放宽了对无标签数据已知标签的要求，使其能够直接集成到现有的持续学习架构中。
• 一种在标签样本上训练的新型梯度学习器可为无标签输入预测伪梯度，使模型能够在不依赖传统伪标签损失函数的情况下融合外部数据。
• 在持续学习、对抗性持续学习及半监督学习任务上的广泛评估表明，该方法取得了最先进的分类准确率与负迁移表现，证实了其在有效缓解灾难性遗忘及提升泛化能力方面的优势。

引言

持续学习使人工智能模型能够在不抹除先验知识的情况下随时间推移获取新的视觉概念，这一能力对于在动态现实环境中部署自适应系统至关重要。先前的方法通常假设标签数据与无标签数据共享已知的类别分布，这与实际场景相悖，因为在实际场景中无标签样本常包含新颖或不相关的概念。传统的半监督技术也依赖伪标签策略，该策略将未知数据强行归类到预定义类别中，且在地真标签缺失时难以计算有效的反向传播梯度。作者利用在标签示例上训练的新型梯度学习器，直接为无标签输入预测伪梯度。通过绕过显式标签分配，该方法将无标签数据无缝整合到监督持续学习流程中，显著增强了模型泛化能力，并在多个基准测试中有效缓解了灾难性遗忘。

数据集

• 数据集构成与来源 作者结合标准计算机视觉基准测试与大规模无标签仓库，以支持持续学习与半监督学习实验。监督任务的数据来源于 MNIST 变体、CIFAR-100、miniImageNet 和 SVHN。无标签数据池则取自 Tiny ImageNet 和 MS COCO，旨在为持续学习场景提供广泛的现实世界覆盖范围。

• 子集详情 作者将数据组织为具有明确维度与变换操作的子集：

  • MNIST 排列（MNIST-P）与 MNIST 旋转（MNIST-R）均包含 7 万张 28x28 分辨率的图像。MNIST-P 应用固定的像素排列，而 MNIST-R 应用 0 至 180 度之间的固定旋转。
  • iCIFAR-100 与 CIFAR-100 各提供 6 万张 32x32 分辨率的图像，并按类别结构化组织。
  • miniImageNet 是 ImageNet 的变体，包含 6 万张 84x84 分辨率的图像，涵盖 100 个类别。
  • 半监督评估使用 SVHN、CIFAR-10 和 CIFAR-100，标签预算严格限制为 1,000、4,000 和 10,000 个样本。

• 任务划分与处理 作者对所有监督数据集应用一致的结构化处理：

  • 所有训练样本均划分为 20 个顺序任务。
  • CIFAR-100、iCIFAR-100 和 miniImageNet 被划分为每个任务包含 5 个类别的子任务。
  • MNIST-P 和 MNIST-R 被划分为每个任务包含 10 个类别的子任务，且每个任务分配唯一的排列或旋转变换。
  • 作者将 Tiny ImageNet 与 MNIST 和 CIFAR 实验配对，而 MS COCO 图像则专用于 miniImageNet 训练，以构建具有代表性的无标签数据池。

• 训练使用与配置 作者对数据进行结构化处理以适配特定的学习方案：

  • GEM 与 ACL 方案采用上述的 20 任务划分。
  • 作者为 ACL 方案实现了轮次重复策略，在每次训练轮次中循环遍历每个任务内的图像。
  • 半监督协议遵循既定的基准测试标准，采用固定的标签数据上限；而持续学习实验则利用大规模无标签池来模拟任务间的分布偏移。

方法

所提方法运行于半监督持续学习（SSCL）框架内，旨在利用标签数据与无标签数据进行模型训练。整体架构包含两个核心组件：梯度学习与梯度预测，二者被整合至持续学习流程中。该框架使模型能够使用源自无标签数据的伪梯度更新参数，从而在不依赖显式标签的情况下提升泛化能力。

梯度学习过程负责训练一个梯度学习器 $h(\cdot; \omega)$h(⋅;ω)，该模块为独立组件，旨在预测伪梯度。该学习器以模型的激活值（logits）$z_i$zi​ 作为输入，并将其映射为预测梯度 $g_i$gi​。$h$h 的训练使用标签数据执行，预测梯度的适配度通过其最小化适配损失函数的能力进行评估。具体而言，适配损失定义为 $\ell_{fit}(z_i, g_i, y_i) = \lambda \ell(z_i - \eta g_i, y_i)$ℓfit​(zi​,gi​,yi​)=λℓ(zi​−ηgi​,yi​)，其中 $\ell$ℓ 为基础损失函数（例如交叉熵），$y_i$yi​ 为真实标签，$\eta$η 为学习率，$\lambda$λ 为缩放系数。该公式确保预测梯度在应用于模型参数时能够优化并降低损失，而非受限于匹配真实梯度的精确方向与幅度。为提升鲁棒性，预测梯度使用来自最后一个标签样本的真实梯度幅度 $\tau_i = \|\frac{\partial \ell}{\partial z_i}\|$τi​=∥∂zi​∂ℓ​∥ 进行归一化，从而得到缩放后的预测梯度 $\bar{g}_i = \alpha \tau_i g_i / \|g_i\|$gˉ​i​=ατi​gi​/∥gi​∥，其中 $\alpha$α 为控制幅度比例的超参数。

梯度预测模块利用训练好的梯度学习器 $h(\cdot; \omega)$h(⋅;ω) 为无标签数据生成伪梯度。当输入无标签样本 $\tilde{x}_i$x~i​ 时，模型首先计算其 logits $z|_{\tilde{x}_i} = f(\tilde{x}_i, t_i; \theta)$z∣x~i​​=f(x~i​,ti​;θ)，其中 $f$f 为主模型，$\theta$θ 为其参数。随后，梯度学习器 $h$h 预测梯度 $g|_{\tilde{x}_i} = h(z|_{\tilde{x}_i}; \omega)$g∣x~i​​=h(z∣x~i​​;ω)，并使用最后一个已知真实梯度的幅度 $\tau_{i-1}$τi−1​ 对其进行归一化。得到的伪梯度 $\bar{g}|_{\tilde{x}_i}$gˉ​∣x~i​​ 通过链式法则用于更新模型参数：$\theta \gets \theta - \eta \bar{g}|_{\tilde{x}_i} \frac{\partial \bar{g}|_{\tilde{x}_i}}{\partial \theta}$θ←θ−ηgˉ​∣x~i​​∂θ∂gˉ​∣x~i​​​。该过程使模型能够通过反向传播预测梯度从无标签数据中学习，从而有效模拟监督更新过程。

训练过程由概率采样策略控制，以管理无标签数据的整合。在每次训练步骤中，无标签数据 $\tilde{x}$x~ 从分布中采样，采样概率由阈值 $p$p 决定。该策略实现了监督持续学习（当 $p=0$p=0 时）与半监督持续学习（当 $p=1$p=1 时）之间的平滑过渡，使框架能够适应无标签数据可用性的变化。使用概率阈值对于平衡泛化到新数据与避免预测误差累积至关重要，后者可能淹没从标签数据中学到的知识。如提供图示所示，整体框架整合了这些组件，以在半监督环境中实现持续学习，使模型能够适应新任务与数据分布，同时高效利用无标签样本中的信息。

实验

实验采用既定协议与基线对比，在任务增量持续学习、对抗性持续学习及半监督学习设置下评估所提的梯度预测方法。定性分析表明，预测梯度始终引导模型更新向更优的参数区域移动，有效缓解了灾难性遗忘，并在多样化数据集与骨干架构中提升了泛化能力。与在标签噪声和分布不匹配问题上表现不佳的伪标签方法不同，所提方法保持了稳定的性能，并对超参数变化与视觉多样性偏移展现出鲁棒性。总体而言，研究结果证实，利用无标签数据的预测梯度为持续学习提供了一种可靠且计算高效的机制，且不会牺牲预测准确性。

作者使用多个基准测试与骨干网络在持续学习设置下评估所提方法，并与多种基线进行对比。结果表明，与基线相比，所提方法一致地提升了平均准确率与负迁移表现，其中基于 EfficientNet 的模型提升最为显著。该方法性能优于伪标签方法，在准确率与稳定性上超越基于随机噪声的替代方案。在不同骨干网络与数据集上，所提方法均实现了更高的平均准确率与负迁移指标，其准确率与稳定性表现均优于伪标签方法及随机噪声替代方案。基于 EfficientNet 的模型结合所提方法展现出最显著的改进，尤其在平均准确率与负迁移方面。

在任务增量学习设置下，作者将所提方法与现有持续学习方法进行了性能对比。结果表明，与基线相比，所提方法实现了更高的准确率，并维持正向的负迁移得分，表明其预测能力得到提升且灾难性遗忘有所减少。所提方法的性能稳定，在多次运行中一致优于基线，有效提升了持续学习中的预测能力并降低了灾难性遗忘。

作者以 GEM 和 DCL 为基线，在持续学习设置下评估所提方法，并从准确率、负迁移与正迁移等多个指标进行对比。所提方法一致性地优于基线模型，在实现更高准确率与正迁移的同时，也增强了负迁移表现。结果表明，该方法有效利用无标签数据提升了模型性能与泛化能力。与基线方法相比，所提方法取得了更高的准确率与正迁移指标。负迁移的提升表明其对先前学习任务保持了更好的记忆保留。在使用伪标签或随机噪声作为预测梯度的其他方法中，所提方法表现更优。

作者分析了不同无标签图像来源对持续学习设置下所提方法性能的影响。结果表明，无标签数据源的选择会影响模型准确率，视觉上更相似的数据集能带来更好的性能。与基线相比，所提方法一致性地提升了分类准确率、负迁移与正迁移指标，表明泛化能力增强且灾难性遗忘减少。所提方法的性能随无标签数据源的视觉多样性而变化，数据源视觉特征越相似，准确率越高。该方法在各项指标上均优于基线。使用随机噪声作为预测梯度会导致准确率下降，但由于干扰了对早期任务的学习，反而表现出更高的负迁移。

作者提出了一种利用无标签图像预测梯度以提升持续学习性能的方法。该方法在多种数据集与骨干网络上进行了评估，结果表明，与基线方法相比，其在平均准确率、负迁移与正迁移方面均实现了一致性提升。该方法在监督与半监督设置下均有效，且性能对超参数变化具有鲁棒性。在持续学习任务中，所提方法相比基线方法提升了平均准确率、负迁移与正迁移指标。该方法在监督与半监督学习设置下均有效，在不同数据集与骨干网络上展现出稳健的性能。该方法对超参数变化具有鲁棒性，在特定参数范围内可达到最优性能。

所提方法在多个持续学习基准与骨干网络上进行了评估，并与伪标签、随机噪声生成以及成熟的基于梯度的算法等基线进行对比。这些实验验证了该方法通过提升负迁移与正迁移，一致性地增强预测准确率并缓解灾难性遗忘的能力，其中在 EfficientNet 架构中取得了尤为显著的改进。附加分析证实，该方法能有效利用无标签数据以实现更好的泛化，表明视觉上相似的无标签数据源能带来更优性能，同时在多样化设置中保持稳定。总体而言，该技术被证明在监督与半监督环境中均具有鲁棒性，能够带来可靠的性能提升，且对超参数调优的严格依赖性较低。