BERT comprend-il le sentiment ? Exploiter les comparaisons entre embeddings contextuels et non contextuels pour améliorer les modèles de sentiment basés sur les aspects

Lorsqu’on effectue une détection de polarité pour différents mots au sein d’une phrase, il est nécessaire d’examiner les mots environnants afin de comprendre le sentiment exprimé. Les modèles linguistiques préentraînés à grande échelle, tels que BERT, sont capables de coder non seulement les mots présents dans un document, mais également le contexte qui les entoure. Cela soulève naturellement deux questions : « Un modèle préentraîné encode-t-il automatiquement des informations de sentiment associées à chaque mot ? » et « Peut-il être utilisé pour inférer la polarité par rapport à différents aspects ? » Dans ce travail, nous cherchons à répondre à ces questions en démontrant qu’une comparaison entre un embedding contextuel issu de BERT et un embedding lexical générique peut être exploitée pour inférer le sentiment. Nous montrons également qu’en ajustant finement un sous-ensemble des poids d’un modèle construit sur cette comparaison, il est possible d’obtenir des résultats de pointe pour la détection de polarité dans les jeux de données de classification des sentiments basés sur les aspects.