Apprentissage Progressif de l'Attention Auto-Supervisée pour l'Analyse de Sentiment au Niveau des Aspects

Dans le domaine de la classification de sentiment au niveau des aspects (ASC), il est courant d'équiper les modèles neuronaux dominants avec des mécanismes d'attention, afin d'acquérir l'importance de chaque mot du contexte par rapport à l'aspect donné. Cependant, un tel mécanisme tend à se concentrer excessivement sur quelques mots fréquents dotés de polarités sentimentales, tout en ignorant ceux qui sont moins fréquents. Dans cet article, nous proposons une approche d'apprentissage progressif et auto-supervisé de l'attention pour les modèles neuronaux ASC, qui mine automatiquement des informations utiles de supervision d'attention à partir d'un corpus d'entraînement afin de raffiner les mécanismes d'attention. Plus précisément, nous effectuons itérativement des prédictions de sentiment sur toutes les instances d'entraînement. Particulièrement, à chaque itération, le mot du contexte ayant le poids d'attention maximal est extrait comme étant celui ayant une influence active ou trompeuse sur la prédiction correcte ou incorrecte de chaque instance, puis ce mot est masqué pour les itérations suivantes. Enfin, nous enrichissons l'objectif d'entraînement conventionnel avec un terme de régularisation, qui permet aux modèles ASC de continuer à accorder une attention égale aux mots du contexte extraits comme actifs tout en réduisant les poids de ceux qui sont trompeurs. Les résultats expérimentaux sur plusieurs jeux de données montrent que notre approche proposée génère de meilleurs mécanismes d'attention, conduisant à des améliorations substantielles par rapport aux deux modèles neuronaux ASC les plus avancés actuellement. Le code source et les modèles entraînés sont disponibles sur https://github.com/DeepLearnXMU/PSSAttention.