SenseBERT : Introduire du Sens dans BERT

La capacité d'apprendre à partir de grands corpus non étiquetés a permis aux modèles de langage neuronaux d'élargir les frontières de la compréhension du langage naturel. Cependant, les techniques actuelles d'auto-supervision fonctionnent au niveau des formes lexicales, qui servent de substitut au contenu sémantique sous-jacent. Cet article propose une méthode pour utiliser la supervision faible directement au niveau des sens lexicaux. Notre modèle, nommé SenseBERT, est pré-entraîné pour prédire non seulement les mots masqués mais aussi leurs supersens WordNet (WordNet supersenses). Ainsi, nous obtenons un modèle de langage lexical-sémantique sans l'utilisation d'annotations humaines. SenseBERT atteint une compréhension lexicale considérablement améliorée, comme nous le démontrons par des expériences sur la désambiguïsation des sens des mots dans SemEval, et en obtenant un résultat de pointe sur la tâche Word in Context.