HyperAIHyperAI

Command Palette

Search for a command to run...

SlotGAT: Slot-basierte Nachrichtenübertragung für heterogene Graph-Neuronale Netze

Ziang Zhou; Jieming Shi; Renchi Yang; Yuanhang Zou; Qing Li

Zusammenfassung

Heterogene Graphen sind allgegenwärtig zur Modellierung komplexer Daten. Es besteht ein dringender Bedarf an leistungsfähigen heterogenen Graph-Neuralnetzen, um wichtige Anwendungen effektiv zu unterstützen. Wir identifizieren ein potenzielles Problem der semantischen Vermischung in bestehenden Nachrichtenübertragungsprozessen, bei denen die Darstellungen der Nachbarn eines Knotens ( v ) gezwungen werden, in den Merkmalsraum von ( v ) transformiert zu werden, obwohl die Nachbarn unterschiedliche Typen haben. Das bedeutet, dass die Semantik verschiedener Knotentypen ineinander verwoben wird und in die Darstellung von Knoten ( v ) eingeflochten wird. Um dieses Problem zu lösen, schlagen wir SlotGAT vor, das getrennte Nachrichtenübertragungsprozesse in Schlitzen (slots) verwendet, einen für jeden Knotentyp, um die Darstellungen in ihren eigenen Merkmalsräumen zu erhalten. Zudem entwickeln wir in einer schlitzenbasierten Nachrichtenübertragungsschicht einen Aufmerksamkeitsmechanismus für eine effektive aggregierte Botschaft auf Schlitzebene. Weiterhin erarbeiten wir eine Schlitz-Aufmerksamkeitstechnik nach der letzten Schicht von SlotGAT, um die Bedeutung verschiedener Schlitze für Downstream-Tasks zu lernen. Unsere Analyse zeigt, dass die Schlitze in SlotGAT verschiedene Semantiken in verschiedenen Merkmalsräumen bewahren können. Die Überlegenheit von SlotGAT wurde anhand von 13 Baselines auf 6 Datensätzen für Knotenklassifikation und Link-Vorhersage evaluiert. Unser Code ist unter https://github.com/scottjiao/SlotGAT_ICML23/ verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp