HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux d'Attention par Passage de Messages pour la Compréhension des Documents

Giannis Nikolentzos Antoine J.-P. Tixier Michalis Vazirgiannis

Résumé

Les réseaux neuronaux sur graphes ont récemment émergé comme un cadre très efficace pour le traitement de données structurées en graphe. Ces modèles ont atteint des performances de pointe dans de nombreuses tâches. La plupart des réseaux neuronaux sur graphes peuvent être décrits en termes de passage de messages, de mise à jour des sommets et de fonctions de lecture. Dans cet article, nous représentons les documents sous forme de réseaux d'occurrences conjointes de mots et proposons une application du cadre de passage de messages à la NLP, le réseau d'attention par passage de messages pour la compréhension des documents (MPAD). Nous proposons également plusieurs variantes hiérarchiques du MPAD. Les expériences menées sur 10 jeux de données standard pour la classification du texte montrent que nos architectures sont compétitives avec l'état de l'art. Les études d'ablation révèlent des informations supplémentaires sur l'impact des différents composants sur les performances. Le code est disponible au public à l'adresse suivante : https://github.com/giannisnik/mpad .


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp