DRew: Dynamisch umgekoppeltes Nachrichtenübertragungsverfahren mit Verzögerung

Nachrichtenübertragungsneuronale Netze (MPNNs) weisen das Phänomen des Over-Squashing auf, das zu einer schlechten Leistung bei Aufgaben führt, die auf langreichweitige Wechselwirkungen angewiesen sind. Dies lässt sich weitgehend darauf zurückführen, dass Nachrichtenübertragung nur lokal über die unmittelbaren Nachbarn eines Knotens erfolgt. Rewiring-Ansätze, die versuchen, Graphen „verbindungsstärker“ zu gestalten und angeblich besser für langreichweitige Aufgaben geeignet zu sein, verlieren oft die induktive Voreingenommenheit, die durch die Distanz im Graphen gegeben ist, da sie entfernte Knoten in jeder Schicht sofort miteinander kommunizieren lassen. In diesem Paper stellen wir einen Rahmen vor, der auf beliebige MPNN-Architekturen anwendbar ist und eine schichtabhängige Umverkabelung durchführt, um eine schrittweise Verdichtung des Graphen zu gewährleisten. Außerdem schlagen wir einen Verzögerungsmechanismus vor, der Sprungverbindungen zwischen Knoten je nach Schicht und ihrer gegenseitigen Distanz erlaubt. Wir validieren unseren Ansatz an mehreren langreichweitigen Aufgaben und zeigen, dass er die Leistung von Graph-Transformern und Multi-Hop-MPNNs übertrifft.