Embeddings universels améliorés grâce à l’apprentissage contrastif basé sur les prompts et l’apprentissage fondé sur l’énergie

L’apprentissage contrastif s’est révélé efficace pour améliorer les modèles linguistiques pré-entraînés (PLM) afin d’obtenir des représentations universelles de phrases de haute qualité. Toutefois, les méthodes contrastives existantes présentent encore deux limites. Premièrement, les travaux antérieurs peuvent obtenir de mauvaises performances dans des scénarios de décalage de domaine, ce qui entrave leur application pratique. Nous attribuons cette faible performance à l’over-paramétrisation des PLM, qui comptent des millions de paramètres. Pour atténuer ce problème, nous proposons PromCSE (apprentissage contrastif basé sur les prompts pour les représentations de phrases), qui n’entraîne qu’un petit ensemble de Soft Prompt (c’est-à-dire un ensemble de vecteurs entraînables) tout en maintenant les PLM fixes. Deuxièmement, la fonction de perte NT-Xent couramment utilisée dans l’apprentissage contrastif n’exploite pas pleinement les exemples négatifs difficiles dans les cadres d’apprentissage supervisé. À cet effet, nous proposons d’intégrer une perte à hinge basée sur l’énergie, inspirée du lien entre la fonction NT-Xent et le paradigme d’apprentissage basé sur l’énergie, afin d’améliorer la capacité discriminative par paire. Les résultats expérimentaux sur sept tâches standards de similarité sémantique de texte (STS) ainsi qu’une tâche STS soumise à un décalage de domaine démontrent l’efficacité de notre méthode par rapport aux modèles d’état de l’art actuels pour les représentations de phrases. Notre code est disponible publiquement à l’adresse suivante : https://github.com/YJiangcm/PromCSE