Les graphes de connaissances sont des ressources importantes pour de nombreuses tâches d'intelligence artificielle, mais ils souffrent souvent d'incomplétude. Dans ce travail, nous proposons d'utiliser des modèles de langage pré-entraînés pour le complétion des graphes de connaissances. Nous traitons les triplets dans les graphes de connaissances comme des séquences textuelles et proposons un cadre novateur nommé Knowledge Graph Bidirectional Encoder Representations from Transformer (KG-BERT) pour modéliser ces triplets. Notre méthode prend en entrée les descriptions d'entités et de relations d'un triplet et calcule la fonction de score du triplet à l'aide du modèle de langage KG-BERT. Les résultats expérimentaux sur plusieurs graphes de connaissances de référence montrent que notre méthode peut atteindre des performances de pointe dans les tâches de classification de triplets, prédiction de liens et prédiction de relations.