Wir zeigen, dass herkömmliche Transformers ohne graphspezifische Anpassungen sowohl theoretisch als auch praktisch vielversprechende Ergebnisse in der Graph-Lernung erzielen können. Gegeben einen Graphen, behandeln wir einfach alle Knoten und Kanten als unabhängige Tokens, ergänzen sie durch Token-Embeddings und geben sie an einen Transformer weiter. Bei einer angemessenen Wahl der Token-Embeddings beweisen wir, dass dieser Ansatz theoretisch mindestens so ausdrucksstark ist wie eine invariante Graph-Netzwerkarchitektur (2-IGN), die aus äquivarienten linearen Schichten besteht – eine Architektur, die bereits ausdrucksstärker ist als alle Message-Passing-Graph-Neural-Networks (GNN). Bei der Trainierung auf einem großskaligen Graph-Datensatz (PCQM4Mv2) erreicht unsere Methode, die als Tokenized Graph Transformer (TokenGT) bezeichnet wird, signifikant bessere Ergebnisse als GNN-Baselines und konkurrenzfähige Ergebnisse im Vergleich zu Transformer-Varianten mit komplexen, graphspezifischen Induktionsannahmen. Unsere Implementierung ist unter https://github.com/jw9730/tokengt verfügbar.