La capacité des graphes de connaissances à représenter des relations complexes à grande échelle a conduit à leur adoption dans diverses applications, notamment la représentation de connaissances, la réponse aux questions et les systèmes de recommandation. Toutefois, les graphes de connaissances sont souvent incomplets, ce qui rend nécessaire la réalisation de tâches de complétion de graphe de connaissances. Bien que les modèles linguistiques pré-entraînés et ajustés finement aient montré un bon potentiel pour ces tâches, ils négligent l'information intrinsèque codée dans le graphe de connaissances, à savoir les types d'entités et de relations. Dans ce travail, nous proposons une architecture appelée Modèle Linguistique de Graphe de Connaissances (KGLM), qui introduit une nouvelle couche d'embeddings pour les entités et les relations, capable d'apprendre à distinguer les types d'entités et de relations spécifiques. Cette approche permet ainsi au modèle d'apprendre efficacement la structure du graphe de connaissances. Nous démontrons dans cette étude que, après un pré-entraînement supplémentaire du modèle linguistique en utilisant cette couche d'embeddings supplémentaire, à partir de triples extraits du graphe de connaissances, suivi d'une phase d'ajustement fin standard, notre méthode atteint un nouveau record de performance pour la tâche de prédiction de liens sur des jeux de données de référence.