Half-Hop: Ein Graph-UpSampling-Ansatz zur Verlangsamung des Nachrichtenversands

Message-Passing-Neuronale Netze haben erheblichen Erfolg bei der Verarbeitung graphenstrukturierter Daten gezeigt. Dennoch gibt es zahlreiche Fälle, in denen der Message-Passing-Ansatz zu Überglättung führt oder versagt, wenn benachbarte Knoten unterschiedlichen Klassen zugehörig sind. In dieser Arbeit stellen wir einen einfachen, aber allgemeingültigen Ansatz zur Verbesserung des Lernens in Message-Passing-Neuralen Netzen vor. Unser Ansatz erweitert die ursprüngliche Graphenstruktur durch die Einführung sogenannter „langsam laufender Knoten“ („slow nodes“) an jeder Kante, die als Vermittler der Kommunikation zwischen Quell- und Zielknoten dienen. Dadurch wird die Übertragung von Informationen verlangsamt und die Fähigkeit zur Unterscheidung zwischen Knoten verschiedener Klassen verbessert. Unser Verfahren modifiziert lediglich den Eingabegraphen und ist somit plug-and-play-fähig sowie problemlos mit bestehenden Modellen kombinierbar. Um die Vorteile einer verlangsamten Nachrichtenübertragung besser zu verstehen, führen wir sowohl theoretische als auch empirische Analysen durch. Wir präsentieren Ergebnisse auf mehreren überwachten und selbstüberwachten Benchmarks und zeigen eine konsistente Verbesserung der Leistung, insbesondere unter heterophilen Bedingungen, bei denen benachbarte Knoten eher unterschiedliche Labels aufweisen. Schließlich zeigen wir, wie unser Ansatz zur Generierung von Daten-Augmentierungen für das selbstüberwachte Lernen genutzt werden kann: Hierbei werden langsame Knoten zufällig an verschiedenen Kanten des Graphen eingefügt, um mehrskalige Sichten mit variablen Pfadlängen zu erzeugen.