9 天前

基于任务感知表征的跨模态交替学习用于持续学习

{Bin-Bin Gao}
摘要

持续学习是人工神经网络领域的一个研究方向,旨在模拟人类终身学习的能力。尽管近年来相关研究取得了显著进展,但大多数方法仅依赖图像模态来完成增量图像识别任务。本文提出了一种新颖且高效的方法——跨模态交替学习与任务感知表征(Cross-modal Alternating Learning with Task-Aware representations, ALTA),充分利用视觉与语言模态信息,实现更高效的持续学习。为此,ALTA设计了一种跨模态联合学习机制,通过同步学习图像与文本表征,提供更有效的监督信号;同时,通过赋予任务感知表征以持续学习能力,有效缓解灾难性遗忘问题。此外,针对稳定性与可塑性之间的权衡困境,ALTA进一步提出一种跨模态交替学习策略,通过交替学习任务感知的跨模态表征,更精准地匹配不同任务间的图像-文本配对关系,从而进一步提升持续学习性能。我们在多个主流图像分类基准上开展了大量实验,结果表明,所提方法在多项指标上均达到当前最优水平。同时,系统的消融实验与可视化分析充分验证了该方法的有效性与合理性。ALTA的开源代码已发布于:https://github.com/vijaylee/ALTA。