Wissensverstärkte vortrainierte Modelle für Sprachrepräsentation haben sich als effektiver bei Aufgaben zur Wissensbasis-Konstruktion (z.B. Relationsextraktion) erwiesen im Vergleich zu Sprachmodellen wie BERT. Diese wissensverstärkten Sprachmodelle integrieren Wissen in das Vortraining, um Repräsentationen von Entitäten oder Beziehungen zu generieren. Allerdings stellen bestehende Methoden in der Regel jede Entität mit einer separaten Einbettung dar. Als Folge davon kämpfen diese Methoden damit, außerhalb des Vokabulars liegende Entitäten zu repräsentieren und eine große Anzahl an Parametern muss zusätzlich zu ihren zugrundeliegenden Token-Modellen (z.B. dem Transformer) verwendet werden. In der Praxis ist die Anzahl der behandelbaren Entitäten aufgrund von Speicherbeschränkungen begrenzt. Darüber hinaus ringen bestehende Modelle immer noch damit, Entitäten und Beziehungen gleichzeitig darzustellen. Um diese Probleme anzugehen, schlagen wir ein neues vortrainiertes Modell vor, das sowohl Repräsentationen von Entitäten als auch von Beziehungen aus Token-Spannen und Spannenpaaren im Text lernt. Durch effizientes Kodieren von Spannen mit Spannungsmodulen kann unser Modell sowohl Entitäten als auch ihre Beziehungen darstellen, aber es benötigt weniger Parameter als bestehende Modelle. Wir haben unser Modell mit dem aus Wikipedia extrahierten Wissensgraphen vortrainiert und es auf einem breiten Spektrum an überwachten und nicht überwachten Informationsextraktionsaufgaben getestet. Die Ergebnisse zeigen, dass unser Modell bessere Repräsentationen für beide, Entitäten und Beziehungen, lernt als die Baseline-Modelle. In überwachten Szenarien übertreffen Feinabstimmungen unseres Modells konsistent RoBERTa und erzielen wettbewerbsfähige Ergebnisse bei Informationsextraktionsaufgaben.