Analyse d'opinion axée sur les aspects utilisant BERT avec une attention désentrelacée

Les tâches d'analyse de sentiment axée sur les aspects (Aspect-Based Sentiment Analysis, ABSA) visent à identifier les opinions des consommateurs concernant différents aspects des produits ou services. Les modèles linguistiques fondés sur BERT ont été utilisés avec succès dans des applications nécessitant une compréhension approfondie du langage, telles que l'analyse de sentiment. Ce papier étudie l'emploi de l'apprentissage désentrelacé afin d'améliorer les représentations textuelles basées sur BERT dans le cadre des tâches ABSA. Inspirés par le succès de l'apprentissage de représentations désentrelacées dans le domaine de la vision par ordinateur, dont l'objectif est d'extraire des facteurs explicatifs des représentations des données, nous avons exploré le modèle récent DeBERTa (Decoding-enhanced BERT with Disentangled Attention) afin de désentrelacer les caractéristiques syntaxiques et sémantiques au sein d'une architecture BERT. Les résultats expérimentaux montrent qu'en intégrant l'attention désentrelacée ainsi qu'une stratégie simple de fine-tuning pour les tâches en aval, notre approche surpasse les modèles les plus avancés sur les jeux de données standards d'ABSA.