SimCSE : Apprentissage simple par contraste des représentations de phrases

Cet article présente SimCSE, un cadre d’apprentissage contrastif simple qui représente une avancée significative dans le domaine des embeddings de phrases. Nous décrivons tout d’abord une approche non supervisée, qui consiste à prendre une phrase en entrée et à la prédire elle-même dans un objectif contrastif, en n’utilisant comme bruit que le dropout standard. Cette méthode simple s’avère surprenamment efficace, atteignant des performances comparables à celles des approches supervisées précédentes. Nous observons que le dropout agit comme une forme minimale d’augmentation des données, et que son retrait entraîne un effondrement des représentations. Ensuite, nous proposons une approche supervisée, qui intègre des paires annotées provenant de jeux de données d’inférence du langage naturel dans notre cadre d’apprentissage contrastif, en utilisant les paires « d’entraînement » comme positives et les paires « de contradiction » comme négatives difficiles. Nous évaluons SimCSE sur des tâches standard de similarité sémantique textuelle (STS), et nos modèles non supervisés et supervisés basés sur BERT atteignent respectivement une corrélation de Spearman moyenne de 76,3 % et 81,6 %, soit une amélioration de 4,2 % et 2,2 % par rapport aux meilleurs résultats précédents. Nous montrons également — tant théoriquement qu’expérimentalement — que l’objectif d’apprentissage contrastif régularise l’espace anisotrope des embeddings pré-entraînés pour le rendre plus uniforme, et qu’il améliore davantage l’alignement des paires positives lorsqu’un signal supervisé est disponible.