Imposer une structure relationnelle dans les embeddings de modèles linguistiques par apprentissage contrastif

Bien que les embeddings de texte issus des modèles linguistiques aient révolutionné la recherche en traitement du langage naturel (NLP), leur capacité à capturer des informations sémantiques de haut niveau, telles que les relations entre entités dans un texte, reste limitée. Dans cet article, nous proposons un nouveau cadre d’apprentissage contrastif qui entraîne des embeddings de phrases afin qu’ils codent les relations au sein d’une structure de graphe. Étant donné une phrase (texte non structuré) et son graphe associé, nous utilisons l’apprentissage contrastif pour imposer une structure liée aux relations aux représentations au niveau des tokens obtenues à partir d’un modèle CharacterBERT (El Boukkouri et al., 2020). Les embeddings de phrases ainsi obtenus, sensibles aux relations, atteignent des résultats de pointe sur la tâche d’extraction de relations en utilisant uniquement un classificateur KNN simple, démontrant ainsi l’efficacité de la méthode proposée. Une analyse visuelle supplémentaire par t-SNE confirme l’efficacité de l’espace de représentation appris par rapport aux méthodes de référence. En outre, nous montrons que l’on peut apprendre un espace différent pour la reconnaissance d’entités nommées, toujours à l’aide d’un objectif d’apprentissage contrastif, et détaillons comment combiner avec succès ces deux espaces de représentation dans une tâche d’entité-relations.