17 天前

基于伪负例的正则化在持续自监督学习中的应用

Sungmin Cha, Kyunghyun Cho, Taesup Moon
基于伪负例的正则化在持续自监督学习中的应用
摘要

我们提出了一种新颖的伪负样本正则化(Pseudo-Negative Regularization, PNR)框架,以实现高效的持续自监督学习(Continual Self-Supervised Learning, CSSL)。该PNR框架通过模型驱动的增强方式生成伪负样本,确保新学习到的表示不会与以往所学知识产生矛盾。具体而言,针对基于InfoNCE的对比学习方法,我们定义了来自当前模型与先前模型的对称伪负样本,并将其同时应用于主损失项与正则化损失项。此外,我们将该思想拓展至不依赖负样本的非对比学习方法:对于这类方法,伪负样本被定义为先前模型对锚点样本不同增强版本的输出,并以非对称方式仅应用于正则化项。大量实验结果表明,所提出的PNR框架在持续自监督学习中实现了当前最优的表征学习性能,能够有效平衡模型的可塑性(plasticity)与稳定性(stability)之间的权衡。