HyperAIHyperAI

Command Palette

Search for a command to run...

Nachrichtenübertragungs-Attention-Netzwerke für die Dokumentenverarbeitung

Giannis Nikolentzos Antoine J.-P. Tixier Michalis Vazirgiannis

Zusammenfassung

Grapheneuronalnetze sind kürzlich als sehr effektiver Rahmen für die Verarbeitung von graphstrukturierten Daten hervorgetreten. Diese Modelle haben in vielen Aufgaben den aktuellen Stand der Technik erreicht. Die meisten Graphneuronalnetze können in Begriffen des Nachrichtenaustauschs, Knotenaktualisierung und Ausgabe-Funktionen beschrieben werden. In dieser Arbeit stellen wir Dokumente als Wortkoexistenznetze dar und schlagen eine Anwendung des Nachrichtenaustauschrahmens für die NLP vor, das Message Passing Attention Netzwerk für Dokumentverstehen (MPAD). Wir schlagen auch mehrere hierarchische Varianten von MPAD vor. Experimente mit 10 standardmäßigen Textklassifikationsdatensätzen zeigen, dass unsere Architekturen mit dem aktuellen Stand der Technik mithalten können. Abstraktionsstudien offenbaren weitere Erkenntnisse über den Einfluss der verschiedenen Komponenten auf die Leistungsfähigkeit. Der Quellcode ist öffentlich verfügbar unter: https://github.com/giannisnik/mpad .


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Nachrichtenübertragungs-Attention-Netzwerke für die Dokumentenverarbeitung | Paper | HyperAI