Transformers haben in zahlreichen Bereichen bemerkenswerte Leistungen erzielt, darunter Natural Language Processing, Computer Vision und Graph Mining. Allerdings haben herkömmliche Transformer-Architekturen in der Darstellung von Wissensgraphen (Knowledge Graphs, KG) keine signifikanten Verbesserungen gebracht, da hier vor allem das translative-Distanz-Paradigma dominierend ist. Zu beachten ist, dass herkömmliche Transformer-Architekturen Schwierigkeiten haben, die inhärent heterogenen strukturellen und semantischen Informationen von Wissensgraphen angemessen zu erfassen. Um diesem Problem entgegenzuwirken, stellen wir ein neues Transformer-Modell für die Darstellung von Wissensgraphen vor, das wir Relphormer nennen. Insbesondere führen wir Triple2Seq ein, das kontextuelle Untergraphsequenzen dynamisch auswählt und als Eingabe verwendet, um das Problem der Heterogenität zu mildern. Wir entwickeln zudem eine neuartige strukturverstärkte Selbst-Attention-Mechanismus, um relationale Informationen zu kodieren und gleichzeitig die semantischen Informationen innerhalb von Entitäten und Relationen zu bewahren. Darüber hinaus nutzen wir maskiertes Wissensmodellierung für die allgemeine Lernung von Wissensgraphendarstellungen, die sich für verschiedene KG-basierte Aufgaben – wie Wissensgraph-Vervollständigung, Fragebeantwortung und Empfehlungssysteme – einsetzen lässt. Experimentelle Ergebnisse auf sechs Datensätzen zeigen, dass Relphormer gegenüber den Baselines eine bessere Leistung erzielt. Der Quellcode ist unter https://github.com/zjunlp/Relphormer verfügbar.