Nachrichtenübertragungs-Attention-Netzwerke für die Dokumentenverarbeitung

Grapheneuronalnetze sind kürzlich als sehr effektiver Rahmen für die Verarbeitung von graphstrukturierten Daten hervorgetreten. Diese Modelle haben in vielen Aufgaben den aktuellen Stand der Technik erreicht. Die meisten Graphneuronalnetze können in Begriffen des Nachrichtenaustauschs, Knotenaktualisierung und Ausgabe-Funktionen beschrieben werden. In dieser Arbeit stellen wir Dokumente als Wortkoexistenznetze dar und schlagen eine Anwendung des Nachrichtenaustauschrahmens für die NLP vor, das Message Passing Attention Netzwerk für Dokumentverstehen (MPAD). Wir schlagen auch mehrere hierarchische Varianten von MPAD vor. Experimente mit 10 standardmäßigen Textklassifikationsdatensätzen zeigen, dass unsere Architekturen mit dem aktuellen Stand der Technik mithalten können. Abstraktionsstudien offenbaren weitere Erkenntnisse über den Einfluss der verschiedenen Komponenten auf die Leistungsfähigkeit. Der Quellcode ist öffentlich verfügbar unter: https://github.com/giannisnik/mpad .