Réseaux d'Attention par Passage de Messages pour la Compréhension des Documents

Les réseaux neuronaux sur graphes ont récemment émergé comme un cadre très efficace pour le traitement de données structurées en graphe. Ces modèles ont atteint des performances de pointe dans de nombreuses tâches. La plupart des réseaux neuronaux sur graphes peuvent être décrits en termes de passage de messages, de mise à jour des sommets et de fonctions de lecture. Dans cet article, nous représentons les documents sous forme de réseaux d'occurrences conjointes de mots et proposons une application du cadre de passage de messages à la NLP, le réseau d'attention par passage de messages pour la compréhension des documents (MPAD). Nous proposons également plusieurs variantes hiérarchiques du MPAD. Les expériences menées sur 10 jeux de données standard pour la classification du texte montrent que nos architectures sont compétitives avec l'état de l'art. Les études d'ablation révèlent des informations supplémentaires sur l'impact des différents composants sur les performances. Le code est disponible au public à l'adresse suivante : https://github.com/giannisnik/mpad .