Graph-BERT: Es wird lediglich Aufmerksamkeit benötigt, um Graphendarstellungen zu lernen

Die dominierenden Graph Neural Networks (GNNs) verlassen sich übermäßig auf die Graph-Verbindungen, wobei bereits mehrere gravierende Leistungsprobleme beobachtet wurden, wie beispielsweise das „Suspended Animation“-Problem und das Over-Smoothing-Problem. Darüber hinaus verhindert die inhärente vernetzte Struktur des Graphen eine parallele Verarbeitung innerhalb des Graphen, was für große Graphen von entscheidender Bedeutung wird, da Speicherbeschränkungen die Batch-Verarbeitung über Knoten hinweg einschränken. In diesem Artikel stellen wir ein neues Graph Neural Network vor, das GRAPH-BERT (Graph-based BERT) heißt und ausschließlich auf der Aufmerksamkeitsmechanik basiert, ohne jegliche Graph-Faltung oder Aggregationsoperationen zu verwenden. Anstatt GRAPH-BERT mit dem vollständigen, großen Eingabegraphen zu versorgen, schlagen wir vor, GRAPH-BERT mit abgetasteten, verbindungslosen Teilgraphen innerhalb ihrer lokalen Kontexte zu trainieren. GRAPH-BERT kann effektiv in einem eigenständigen Modus gelernt werden. Gleichzeitig kann ein vortrainiertes GRAPH-BERT direkt auf andere Anwendungsaufgaben übertragen werden, entweder direkt oder nach notwendiger Feinabstimmung, falls überwachtes Label-Information oder spezifische anwendungsspezifische Ziele verfügbar sind. Wir haben die Wirksamkeit von GRAPH-BERT an mehreren Standardgraph-Datensätzen getestet. Basierend auf dem vortrainierten GRAPH-BERT, das auf den Aufgaben der Knotenattribut-Rekonstruktion und Strukturwiederherstellung trainiert wurde, führen wir eine weitere Feinabstimmung von GRAPH-BERT für Aufgaben der Knotenklassifikation und Graph-Clustering durch. Die experimentellen Ergebnisse zeigen, dass GRAPH-BERT sowohl in Bezug auf Lernwirksamkeit als auch Effizienz die bestehenden GNNs übertrifft.