HyperAIHyperAI
il y a 18 jours

Désambiguïsation du sens des mots avec des modèles Transformer

{Ron Daniel Jr., Tony Scerri, Pierre-Yves Vandenbussche}
Désambiguïsation du sens des mots avec des modèles Transformer
Résumé

Dans cet article, nous abordons la tâche de désambiguïsation des sens des mots (Word Sense Disambiguation, WSD). Nous présentons notre système soumis au défi de vérification du sens cible dans le contexte du mot (Word-in-Context Target Sense Verification), organisé dans le cadre du atelier SemDeep lors de la conférence IJCAI 2020 (Breit et al., 2020). Ce défi consiste à prédire si un usage spécifique d’un mot dans un texte correspond à un sens prédéfini. Notre approche repose sur des modèles pré-entraînés de type transformateur, tels que BERT, qui sont affinés sur la tâche en utilisant différentes stratégies d’architecture. Notre modèle obtient la meilleure précision et le meilleur taux de justesse sur la Sous-tâche 1, qui consiste à utiliser les définitions pour déterminer si le mot cible dans son contexte correspond ou non au sens donné. Nous pensons que les stratégies explorées dans le cadre de ce défi pourraient s’avérer utiles pour d’autres tâches de traitement automatique du langage naturel.