11 天前

动态扩展架构中类别增量学习的任务混淆问题解决

Bingchen Huang, Zhineng Chen, Peng Zhou, Jiayin Chen, Zuxuan Wu
动态扩展架构中类别增量学习的任务混淆问题解决
摘要

动态扩展架构在类别增量学习中日益流行,主要得益于其在缓解灾难性遗忘方面的显著优势。然而,该框架对任务混淆问题的评估仍不充分,例如:不同任务间类别的差异未能得到充分学习(即任务间混淆,Inter-Task Confusion, ITC),同时对最新一类批次仍存在优先倾向(即旧-新混淆,Old-New Confusion, ONC)。本文通过实验验证了这两种混淆带来的负面效应。为此,我们提出一种新颖的解决方案——任务相关增量学习(Task Correlated Incremental Learning, TCIL),旨在促进跨任务间特征的区分性与公平性利用。TCIL采用多层次知识蒸馏机制,将旧任务中学习到的知识有效传递至新任务。该方法在特征层与logit层均构建信息传递路径,使模型在学习新任务时能够感知旧类别信息。此外,引入注意力机制与分类器重评分策略,以生成更为公平的分类得分。我们在CIFAR100与ImageNet100数据集上进行了大量实验,结果表明,TCIL在各项指标上均持续达到当前最优性能。该方法有效缓解了ITC与ONC问题,即使在未使用回放记忆(rehearsal memory)的情况下,仍展现出对灾难性遗忘的强大抵御能力。

动态扩展架构中类别增量学习的任务混淆问题解决 | 最新论文 | HyperAI超神经