BERT-tille-t-il un sens ? Une désambiguïsation lexicale interprétable à l’aide d’embeddings contextualisés

Les embeddings de mots contextualisés (CWE), tels que fournis par ELMo (Peters et al., 2018), Flair NLP (Akbik et al., 2018) ou BERT (Devlin et al., 2019), constituent une avancée majeure récente en traitement du langage naturel. Les CWE offrent des représentations vectorielles sémantiques des mots en fonction de leur contexte respectif. Leur avantage par rapport aux embeddings statiques a été démontré sur plusieurs tâches, notamment la classification de texte, l’étiquetage de séquences ou la traduction automatique. Comme les vecteurs associés à un même mot peuvent varier selon le contexte, ces modèles fournissent implicitement un mécanisme de désambiguïsation des sens des mots (WSD, word sense disambiguation). Nous proposons une approche simple mais efficace pour la WSD basée sur une classification par plus proches voisins appliquée aux CWE. Nous comparons les performances de différents modèles CWE sur cette tâche et montrons des améliorations par rapport à l’état de l’art actuel sur deux jeux de données standards de benchmark pour la WSD. Nous démontrons également que le modèle pré-entraîné BERT est capable de placer les mots polysemes dans des régions distinctes de l’espace d’embedding correspondant à leurs différents sens, tandis qu’ELMo et Flair NLP semblent ne pas posséder cette capacité.