HyperAIHyperAI

Command Palette

Search for a command to run...

Adaptive Graph Diffusion Networks

Chuxiong Sun Jie Hu Hongming Gu Jinpeng Chen Mingchuan Yang

Zusammenfassung

Graph Neural Networks (GNNs) haben im Bereich des graphenbasierten Deep Learning erhebliche Aufmerksamkeit erhalten. Doch jüngere empirische und theoretische Studien zeigen, dass tiefe GNNs unter Überanpassungs- und Überglättungsproblemen leiden. Übliche Lösungsansätze können entweder die hohe Laufzeit tiefer GNNs nicht bewältigen oder beschränken die Graph-Faltung auf denselben Merkmalsraum. Wir stellen Adaptive Graph Diffusion Networks (AGDNs) vor, die mehrschichtige, generalisierte Graph-Diffusion in unterschiedlichen Merkmalsräumen mit moderatem Komplexitäts- und Laufzeitaufwand durchführen. Standardmethoden der Graph-Diffusion kombinieren große und dichte Potenzen der Übergangsmatrix mit vordefinierten Gewichtungskoeffizienten. Im Gegensatz dazu kombinieren AGDNs kleinere, mehrschrittige Knotenrepräsentationen mit lernbaren und generalisierten Gewichtungskoeffizienten. Wir schlagen zwei skalierbare Mechanismen zur Gewichtungskoeffizienten-Berechnung vor, um Informationen über mehrere Sprünge zu erfassen: Hop-wise Attention (HA) und Hop-wise Convolution (HC). Wir evaluieren AGDNs auf diversen, anspruchsvollen Datensätzen des Open Graph Benchmark (OGB) unter semi-supervised Node Classification und Link Prediction. Bis zum Zeitpunkt der Einreichung (26. August 2022) erreichen AGDNs die Top-1-Platzierung auf den Datensätzen ogbn-arxiv, ogbn-proteins und ogbl-ddi sowie die Top-3-Platzierung auf ogbl-citation2. Auf vergleichbaren Tesla V100-GPUs übertrifft AGDNs Reversible GNNs (RevGNNs) hinsichtlich der ogbn-proteins-Datenmenge um 13 % an Komplexität und benötigt lediglich 1 % der Trainingslaufzeit von RevGNNs. Zudem erzielen AGDNs eine vergleichbare Leistung wie SEAL, wobei sie 36 % weniger Trainings- und nur 0,2 % der Inferenzlaufzeit von SEAL benötigen, auf dem ogbl-citation2-Datensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp