Die Fähigkeit von Wissensgraphen, komplexe Beziehungen in großem Maßstab darzustellen, hat ihre Einführung für vielfältige Anwendungen wie Wissensrepräsentation, Fragenbeantwortung und Empfehlungssysteme ermöglicht. Wissensgraphen sind häufig unvollständig in der von ihnen repräsentierten Information, was die Notwendigkeit von Aufgaben zur Wissensgraphen-Vervollständigung erfordert. Vortrainierte und fine-tunende Sprachmodelle haben in diesen Aufgaben vielversprechende Ergebnisse gezeigt, wobei jedoch die inhärente Information, die im Wissensgraphen kodiert ist – insbesondere die Entitäts- und Relationsarten – ignoriert wird. In dieser Arbeit stellen wir die Architektur des Knowledge Graph Language Model (KGLM) vor, bei der wir eine neue Embedding-Schicht für Entitäten/Relationen einführen, die lernt, charakteristische Entitäts- und Relationsarten zu unterscheiden. Dadurch kann das Modell die Struktur des Wissensgraphen effektiver erfassen. Wir zeigen in dieser Arbeit, dass eine zusätzliche Vortraining-Phase der Sprachmodelle mit dieser neuen Embedding-Schicht, basierend auf aus dem Wissensgraphen extrahierten Tripeln, gefolgt von einer standardmäßigen Fine-Tuning-Phase, eine neue State-of-the-Art-Leistung für die Link-Vorhersage-Aufgabe auf den Benchmark-Datensätzen erzielt.