CLEAR : Apprentissage contrastif pour la représentation de phrases

Les modèles linguistiques pré-entraînés ont démontré leur capacité unique à capturer des caractéristiques linguistiques implicites. Toutefois, la plupart des approches d'entraînement préalable se concentrent sur des objectifs au niveau des mots, tandis que les objectifs au niveau des phrases sont rarement explorés. Dans cet article, nous proposons CLEAR (Contrastive LEArning for sentence Representation), une méthode qui utilise plusieurs stratégies d'augmentation au niveau des phrases afin d'apprendre une représentation de phrase invariante au bruit. Ces techniques d'augmentation incluent la suppression de mots et d'expressions, le réarrangement et la substitution. En outre, nous menons une série d'expériences approfondies afin d’identifier les raisons clés qui rendent l’apprentissage contrastif efficace. Nous observons que différentes augmentations de phrases pendant l’entraînement préalable entraînent des améliorations de performance variées sur diverses tâches en aval. Notre approche s'avère supérieure à plusieurs méthodes existantes sur les benchmarks SentEval et GLUE.