HyperAIHyperAI

Command Palette

Search for a command to run...

DRew: Dynamisch umgekoppeltes Nachrichtenübertragungsverfahren mit Verzögerung

Benjamin Gutteridge Xiaowen Dong Michael Bronstein Francesco Di Giovanni

Zusammenfassung

Nachrichtenübertragungsneuronale Netze (MPNNs) weisen das Phänomen des Over-Squashing auf, das zu einer schlechten Leistung bei Aufgaben führt, die auf langreichweitige Wechselwirkungen angewiesen sind. Dies lässt sich weitgehend darauf zurückführen, dass Nachrichtenübertragung nur lokal über die unmittelbaren Nachbarn eines Knotens erfolgt. Rewiring-Ansätze, die versuchen, Graphen „verbindungsstärker“ zu gestalten und angeblich besser für langreichweitige Aufgaben geeignet zu sein, verlieren oft die induktive Voreingenommenheit, die durch die Distanz im Graphen gegeben ist, da sie entfernte Knoten in jeder Schicht sofort miteinander kommunizieren lassen. In diesem Paper stellen wir einen Rahmen vor, der auf beliebige MPNN-Architekturen anwendbar ist und eine schichtabhängige Umverkabelung durchführt, um eine schrittweise Verdichtung des Graphen zu gewährleisten. Außerdem schlagen wir einen Verzögerungsmechanismus vor, der Sprungverbindungen zwischen Knoten je nach Schicht und ihrer gegenseitigen Distanz erlaubt. Wir validieren unseren Ansatz an mehreren langreichweitigen Aufgaben und zeigen, dass er die Leistung von Graph-Transformern und Multi-Hop-MPNNs übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp