Die Transformer-Architektur hat in der Graph-Darstellungslernung in jüngster Zeit zunehmend Aufmerksamkeit erlangt, da sie mehrere Einschränkungen von Graph-Neural-Networks (GNNs) natürlicherweise überwindet, indem sie die strengen strukturellen induktiven Voreingenommenheiten von GNNs vermeidet und stattdessen die Graphstruktur lediglich über Positions-Encodings kodiert. In dieser Arbeit zeigen wir, dass die durch Transformer mit Positions-Encodings generierten Knotenrepräsentationen nicht notwendigerweise strukturelle Ähnlichkeit zwischen Knoten erfassen. Um dieses Problem anzugehen, schlagen wir den Structure-Aware Transformer vor – eine Klasse einfacher und flexibler Graph-Transformer, die auf einem neuen Selbst-Attention-Mechanismus basiert. Dieser neue Selbst-Attention-Mechanismus integriert strukturelle Informationen in die ursprüngliche Selbst-Attention, indem vor der Berechnung der Aufmerksamkeit eine Untergraph-Repräsentation, die jeweils an jedem Knoten verwurzelt ist, extrahiert wird. Wir stellen mehrere Methoden zur automatischen Generierung der Untergraph-Repräsentation vor und zeigen theoretisch, dass die resultierenden Repräsentationen mindestens so ausdrucksstark sind wie die Untergraph-Repräsentationen. Empirisch erreicht unsere Methode auf fünf Graph-Vorhersage-Benchmarks state-of-the-art-Leistungen. Unser struktur-awarees Framework kann jede bestehende GNN nutzen, um die Untergraph-Repräsentation zu extrahieren, und wir zeigen, dass es die Leistung im Vergleich zur Basis-GNN-Modell systematisch verbessert, wodurch die Vorteile von GNNs und Transformers erfolgreich kombiniert werden. Unser Code ist unter https://github.com/BorgwardtLab/SAT verfügbar.