Régularisation par des pseudo-négatifs pour l'apprentissage auto-supervisé continu

Nous introduisons un nouveau cadre de régularisation par pseudo-négatifs (Pseudo-Negative Regularization, PNR) pour un apprentissage auto-supervisé continu (CSSL) efficace. Notre approche PNR exploite des pseudo-négatifs obtenus grâce à une augmentation basée sur le modèle, de manière à garantir que les nouvelles représentations apprises ne contredisent pas les connaissances antérieures. Plus précisément, pour les méthodes d'apprentissage contrastif basées sur InfoNCE, nous définissons des pseudo-négatifs symétriques issus des modèles actuel et précédent, et les intégrons tant dans la perte principale que dans la perte de régularisation. Par ailleurs, nous étendons cette idée aux méthodes non contrastives, qui ne reposent pas intrinsèquement sur des exemples négatifs. Pour ces dernières, un pseudo-négatif est défini comme la sortie du modèle précédent sur une version différemment augmentée de l'exemple d'ancrage, et est appliqué de manière asymétrique uniquement dans la perte de régularisation. Des résultats expérimentaux étendus démontrent que notre cadre PNR atteint des performances de pointe en apprentissage de représentations lors du CSSL, en équilibrant efficacement le compromis entre plasticité et stabilité.