Wie man sein freundliches Nachbarschaftsnetzwerk findet: Graph-Attention-Design mit Selbstüberwachung

Die Aufmerksamkeitsmechanismen in Graph Neural Networks sind darauf ausgelegt, wichtigeren Nachbarn größere Gewichte zuzuweisen, um repräsentativere Darstellungen zu erzeugen. Allerdings ist bisher nicht gut verstanden, was genau ein Graph-Aufmerksamkeitsmodell lernt, insbesondere wenn die Graphen verrauscht sind. In diesem Paper stellen wir ein selbstüberwachtes Graph-Aufmerksamkeitsnetzwerk (SuperGAT) vor, ein verbessertes Aufmerksamkeitsmodell für verrauschte Graphen. Konkret nutzen wir zwei Aufmerksamkeitsformen, die mit einer selbstüberwachten Aufgabe zur Kantenprädiktion kompatibel sind, wobei die Anwesenheit oder Abwesenheit von Kanten inhärente Informationen über die Relevanz der Beziehungen zwischen Knoten enthalten. Durch die Kodierung von Kanten lernt SuperGAT ausdrucksstarkere Aufmerksamkeitsmuster, um fehlerhaft verknüpfte Nachbarn besser zu unterscheiden. Wir identifizieren zwei graphentypische Eigenschaften, die die Wirksamkeit der Aufmerksamkeitsformen und der selbstüberwachten Lernstrategie beeinflussen: Homophilie und durchschnittlicher Grad. Daraus ergibt sich eine praktische Anleitung, welche Aufmerksamkeitsarchitektur bei bekannter Kenntnis dieser beiden Eigenschaften sinnvoll eingesetzt werden sollte. Unsere Experimente auf 17 realen Datensätzen zeigen, dass unsere Anleitung in 15 Fällen generalisiert und die von der Anleitung entworfenen Modelle eine verbesserte Leistung gegenüber Baseline-Modellen erzielen.