GlossBERT : BERT pour la désambiguïsation des sens des mots avec des connaissances de glossaires

La désambiguïsation sémantique des mots (Désambiguïsation Sémantique des Mots, DSM) vise à déterminer le sens précis d'un mot ambigu dans un contexte particulier. Les méthodes supervisées traditionnelles prennent rarement en compte les ressources lexicales comme WordNet, largement utilisées par les méthodes basées sur la connaissance. Des études récentes ont montré l'efficacité de l'intégration des définitions de sens (glosses) dans les réseaux neuronaux pour la DSM. Cependant, comparativement aux méthodes supervisées traditionnelles par des experts en mots, elles n'ont pas apporté beaucoup d'améliorations. Dans cet article, nous nous concentrons sur la façon d'exploiter de manière plus efficace les connaissances issues des glosses dans un système de DSM neuronal supervisé. Nous construisons des paires contexte-glosse et proposons trois modèles basés sur BERT pour la DSM. Nous ajustons finement le modèle BERT pré-entraîné sur le corpus d'entraînement SemCor3.0, et les résultats expérimentaux sur plusieurs jeux de données de référence pour la DSM en anglais montrent que notre approche surpasses les systèmes de pointe actuels.