Avec plus de contextes vient une meilleure performance : des embeddings de sens contextualisés pour la désambiguïsation de sens des mots en toutes circonstances

Les embeddings de mots contextualisés ont été efficacement utilisés dans plusieurs tâches du traitement du langage naturel, car ils se sont révélés porteurs d’informations sémantiques utiles. Toutefois, il reste difficile de les relier à des sources structurées de connaissance. Dans cet article, nous présentons ARES (context-AwaRe Embeddings of Senses), une approche semi-supervisée visant à produire des embeddings de sens pour les sens lexicaux d’une base de connaissances lexicale, dans un espace comparable à celui des vecteurs de mots contextualisés. Les représentations ARES permettent à un algorithme simple de recherche du plus proche voisin (1-NN) de surpasser les modèles de pointe, non seulement sur la tâche d’identification du sens des mots en anglais, mais aussi sur sa version multilingue, tout en n’étant entraînées que sur des données annotées au sens en anglais. Nous évaluons également la qualité de nos embeddings sur la tâche Word-in-Context, où, utilisés comme source externe de connaissance, ils améliorent de manière cohérente les performances d’un modèle neuronal, lui permettant de rivaliser avec des architectures plus complexes. Les embeddings ARES pour tous les concepts de WordNet ainsi que les contextes automatiquement extraits utilisés pour construire les représentations de sens sont disponibles gratuitement à l’adresse http://sensembert.org/ares.