HyperAIHyperAI

Command Palette

Search for a command to run...

Aufmerksamkeitsbasiertes Graph-Neuronales Netzwerk für semisupervises Lernen

Kiran K. Thekumpamil Chong Wang Sewoong Oh Li-Jia Li

Zusammenfassung

Kürzlich populär gewordene Graph-Neuronale Netze erreichen den aktuellen Stand der Technik in Bezug auf die Genauigkeit bei mehreren Standard-Benchmark-Datensätzen für graphbasiertes semisupervises Lernen und verbessern sich erheblich im Vergleich zu bestehenden Ansätzen. Diese Architekturen wechseln zwischen einer Propagations-Schicht, die die verborgenen Zustände der lokalen Nachbarschaft aggregiert, und einer vollständig vernetzten Schicht. Überraschenderweise zeigen wir, dass ein lineares Modell, das alle Zwischenschichten der vollständig vernetzten Schichten entfernt, immer noch eine Leistung erzielen kann, die mit den besten aktuellen Modellen vergleichbar ist. Dies reduziert die Anzahl der Parameter erheblich, was für semisupervises Lernen entscheidend ist, da die Anzahl der etikettierten Beispiele gering ist. Dies ermöglicht es wiederum, innovative Propagations-Schichten zu entwickeln. Auf Basis dieses Erkenntnisses schlagen wir ein neues Graph-Neuronales Netzwerk vor, das alle Zwischenschichten der vollständig vernetzten Schichten entfernt und diese durch Aufmerksamkeitsmechanismen ersetzt, die die Struktur des Graphen berücksichtigen. Der Aufmerksamkeitsmechanismus ermöglicht es uns, eine dynamische und anpassungsfähige lokale Zusammenfassung der Nachbarschaft zu lernen, um präzisere Vorhersagen zu treffen. In mehreren Experimenten mit Benchmark-Zitierungsnetzwerkdatenmengen zeigen wir, dass unser Ansatz konkurrierende Methoden übertrifft. Durch die Untersuchung der Aufmerksamkeitsgewichte unter Nachbarn zeigen wir außerdem, dass unser Modell interessante Einblicke in den Einfluss von Nachbarn aufeinander bietet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Aufmerksamkeitsbasiertes Graph-Neuronales Netzwerk für semisupervises Lernen | Paper | HyperAI