HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Nichtlokales Aufmerksamkeitslernen auf großen heterogenen Informationsnetzwerken

{ChengXiang Zhai Zecheng Zhang Yuxin Xiao Carl Yang}

Abstract

Heterogene Informationsnetzwerke (HIN) fassen reichhaltige strukturelle Informationen in realen Datensätzen zusammen und spielen eine entscheidende Rolle in vielen Anwendungen des Big Data. In jüngster Zeit wurden Graphen-neuronale Netzwerke auf die Repräsentationslernung von HIN erweitert. Ein kürzlich erzielter Fortschritt ist die hierarchische Aufmerksamkeitsmechanik, die sowohl knotenbasierte als auch semantische Aufmerksamkeit integriert. Da HIN aufgrund ihrer vielfältigen Kantenarten jedoch tendenziell dicht verbunden sind, führt die wiederholte Anwendung von graphenbasierten Faltungsoperationen dazu, dass die Knotenrepräsentationen sehr schnell unlösbar werden. Um Überglättung (oversmoothing) zu vermeiden, weisen bestehende graphenbasierte neuronale Netzwerke zur HIN-Verarbeitung in der Regel eine flache Architektur auf. Dadurch werden Informationen jenseits der lokalen Nachbarschaft vernachlässigt. Dieser Entwurfsfehler widerspricht dem Prinzip des nicht-lokalen Lernens, das die Bedeutung der Erfassung langreichweitiger Abhängigkeiten betont. Um diese Einschränkung angemessen zu beheben, schlagen wir einen neuen Ansatz namens Non-Local Attention in Heterogeneous Information Networks (NLAH) vor. Unser Framework nutzt eine nicht-lokale Aufmerksamkeitsstruktur, um die hierarchische Aufmerksamkeitsmechanik zu ergänzen. Auf diese Weise können sowohl lokale als auch nicht-lokale Informationen gleichzeitig ausgenutzt werden. Zudem wurde ein gewichteter Stichprobenansatz für NLAH entworfen, um die Rechenkosten bei großen Datensätzen zu reduzieren. Umfangreiche Experimente an drei verschiedenen realen heterogenen Informationsnetzwerken zeigen, dass unser Framework eine außerordentliche Skalierbarkeit aufweist und die derzeit besten Ansätze mit deutlichem Abstand übertrifft.

Benchmarks

BenchmarkMethodikMetriken
heterogeneous-node-classification-on-dblp-1NLAH (ppr)
Macro-F1 (60% training data): 95.95%
heterogeneous-node-classification-on-dblp-1NLAH (ppmi)
Macro-F1 (60% training data): 95.91%
heterogeneous-node-classification-on-dblp-1NLAH (2ndprox)
Macro-F1 (60% training data): 96.48%

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Nichtlokales Aufmerksamkeitslernen auf großen heterogenen Informationsnetzwerken | Forschungsarbeiten | HyperAI