Aufmerksamkeitsbasiertes Graph-Neuronales Netzwerk für semisupervises Lernen

Kürzlich populär gewordene Graph-Neuronale Netze erreichen den aktuellen Stand der Technik in Bezug auf die Genauigkeit bei mehreren Standard-Benchmark-Datensätzen für graphbasiertes semisupervises Lernen und verbessern sich erheblich im Vergleich zu bestehenden Ansätzen. Diese Architekturen wechseln zwischen einer Propagations-Schicht, die die verborgenen Zustände der lokalen Nachbarschaft aggregiert, und einer vollständig vernetzten Schicht. Überraschenderweise zeigen wir, dass ein lineares Modell, das alle Zwischenschichten der vollständig vernetzten Schichten entfernt, immer noch eine Leistung erzielen kann, die mit den besten aktuellen Modellen vergleichbar ist. Dies reduziert die Anzahl der Parameter erheblich, was für semisupervises Lernen entscheidend ist, da die Anzahl der etikettierten Beispiele gering ist. Dies ermöglicht es wiederum, innovative Propagations-Schichten zu entwickeln. Auf Basis dieses Erkenntnisses schlagen wir ein neues Graph-Neuronales Netzwerk vor, das alle Zwischenschichten der vollständig vernetzten Schichten entfernt und diese durch Aufmerksamkeitsmechanismen ersetzt, die die Struktur des Graphen berücksichtigen. Der Aufmerksamkeitsmechanismus ermöglicht es uns, eine dynamische und anpassungsfähige lokale Zusammenfassung der Nachbarschaft zu lernen, um präzisere Vorhersagen zu treffen. In mehreren Experimenten mit Benchmark-Zitierungsnetzwerkdatenmengen zeigen wir, dass unser Ansatz konkurrierende Methoden übertrifft. Durch die Untersuchung der Aufmerksamkeitsgewichte unter Nachbarn zeigen wir außerdem, dass unser Modell interessante Einblicke in den Einfluss von Nachbarn aufeinander bietet.