17 天前

方向聚焦学习:提升机器学习中的一致性

Yan Luo, Yongkang Wong, Mohan S. Kankanhalli, Qi Zhao
方向聚焦学习:提升机器学习中的一致性
摘要

计算机视觉任务中一个广为人知的挑战是图像的视觉多样性,这种多样性可能导致模型所学习到的知识与当前观测所呈现的视觉内容之间产生一致或不一致的情况。在本研究中,我们首先将概念学习过程中这种一致性定义为“一致性”(congruency)。形式上,在特定任务和足够大规模数据集的前提下,当训练数据中任务相关的语义存在显著差异时,学习过程中便会出现一致性问题。为此,我们提出一种方向集中学习(Direction Concentration Learning, DCL)方法,以提升学习过程中的一致性。增强一致性能够使模型的收敛路径更加直接,减少迂回。实验结果表明,所提出的DCL方法可有效泛化至当前主流的模型架构与优化器,并显著提升显著性预测、持续学习以及分类任务的性能。此外,该方法还能有效缓解持续学习任务中的灾难性遗忘问题。相关代码已公开,可访问 https://github.com/luoyan407/congruency 获取。