Universelle Graph-Transformer-Self-Attention-Netzwerke

Wir stellen ein transformer-basiertes GNN-Modell namens UGformer vor, das zur Lernung von Graph-Darstellungen verwendet wird. Insbesondere präsentieren wir zwei Varianten von UGformer: Die erste Variante (im September 2019 vorgestellt) nutzt den Transformer auf einer Menge von Stichproben-Nachbarn für jeden Eingabeknoten, während die zweite Variante (im Mai 2021 vorgestellt) den Transformer auf allen Eingabeknoten anwendet. Experimentelle Ergebnisse zeigen, dass die erste UGformer-Variante state-of-the-art Genauigkeiten auf Benchmark-Datensätzen für die Graph-Klassifikation sowohl im induktiven als auch im unsupervisierten transduktiven Setting erzielt; die zweite UGformer-Variante erreicht state-of-the-art Ergebnisse für die induktive Text-Klassifikation. Der Quellcode ist verfügbar unter: \url{https://github.com/daiquocnguyen/Graph-Transformer}.