HyperAIHyperAI

Command Palette

Search for a command to run...

Wie man sein freundliches Nachbarschaftsnetzwerk findet: Graph-Attention-Design mit Selbstüberwachung

Dongkwan Kim Alice Oh

Zusammenfassung

Die Aufmerksamkeitsmechanismen in Graph Neural Networks sind darauf ausgelegt, wichtigeren Nachbarn größere Gewichte zuzuweisen, um repräsentativere Darstellungen zu erzeugen. Allerdings ist bisher nicht gut verstanden, was genau ein Graph-Aufmerksamkeitsmodell lernt, insbesondere wenn die Graphen verrauscht sind. In diesem Paper stellen wir ein selbstüberwachtes Graph-Aufmerksamkeitsnetzwerk (SuperGAT) vor, ein verbessertes Aufmerksamkeitsmodell für verrauschte Graphen. Konkret nutzen wir zwei Aufmerksamkeitsformen, die mit einer selbstüberwachten Aufgabe zur Kantenprädiktion kompatibel sind, wobei die Anwesenheit oder Abwesenheit von Kanten inhärente Informationen über die Relevanz der Beziehungen zwischen Knoten enthalten. Durch die Kodierung von Kanten lernt SuperGAT ausdrucksstarkere Aufmerksamkeitsmuster, um fehlerhaft verknüpfte Nachbarn besser zu unterscheiden. Wir identifizieren zwei graphentypische Eigenschaften, die die Wirksamkeit der Aufmerksamkeitsformen und der selbstüberwachten Lernstrategie beeinflussen: Homophilie und durchschnittlicher Grad. Daraus ergibt sich eine praktische Anleitung, welche Aufmerksamkeitsarchitektur bei bekannter Kenntnis dieser beiden Eigenschaften sinnvoll eingesetzt werden sollte. Unsere Experimente auf 17 realen Datensätzen zeigen, dass unsere Anleitung in 15 Fällen generalisiert und die von der Anleitung entworfenen Modelle eine verbesserte Leistung gegenüber Baseline-Modellen erzielen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp