HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage Progressif de l'Attention Auto-Supervisée pour l'Analyse de Sentiment au Niveau des Aspects

Jialong Tang Ziyao Lu Jinsong Su Yubin Ge Linfeng Song Le Sun Jiebo Luo

Résumé

Dans le domaine de la classification de sentiment au niveau des aspects (ASC), il est courant d'équiper les modèles neuronaux dominants avec des mécanismes d'attention, afin d'acquérir l'importance de chaque mot du contexte par rapport à l'aspect donné. Cependant, un tel mécanisme tend à se concentrer excessivement sur quelques mots fréquents dotés de polarités sentimentales, tout en ignorant ceux qui sont moins fréquents. Dans cet article, nous proposons une approche d'apprentissage progressif et auto-supervisé de l'attention pour les modèles neuronaux ASC, qui mine automatiquement des informations utiles de supervision d'attention à partir d'un corpus d'entraînement afin de raffiner les mécanismes d'attention. Plus précisément, nous effectuons itérativement des prédictions de sentiment sur toutes les instances d'entraînement. Particulièrement, à chaque itération, le mot du contexte ayant le poids d'attention maximal est extrait comme étant celui ayant une influence active ou trompeuse sur la prédiction correcte ou incorrecte de chaque instance, puis ce mot est masqué pour les itérations suivantes. Enfin, nous enrichissons l'objectif d'entraînement conventionnel avec un terme de régularisation, qui permet aux modèles ASC de continuer à accorder une attention égale aux mots du contexte extraits comme actifs tout en réduisant les poids de ceux qui sont trompeurs. Les résultats expérimentaux sur plusieurs jeux de données montrent que notre approche proposée génère de meilleurs mécanismes d'attention, conduisant à des améliorations substantielles par rapport aux deux modèles neuronaux ASC les plus avancés actuellement. Le code source et les modèles entraînés sont disponibles sur https://github.com/DeepLearnXMU/PSSAttention.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp