Les plongements de connaissances (KE) représentent un graphe de connaissances (KG) en plongeant les entités et les relations dans des espaces vectoriels continus. Les méthodes existantes sont principalement basées sur la structure ou sur la description. Les méthodes basées sur la structure apprennent des représentations qui préservent la structure inhérente des KG. Elles ne peuvent pas représenter efficacement les nombreuses entités à queue longue présentes dans les KG du monde réel avec une information structurale limitée. Les méthodes basées sur la description exploitent les informations textuelles et les modèles linguistiques. Les approches précédentes dans cette direction peinent à surpasser celles basées sur la structure et souffrent de problèmes tels que l'échantillonnage négatif coûteux et la demande restrictive de descriptions. Dans cet article, nous proposons LMKE, qui utilise des modèles linguistiques pour dériver des plongements de connaissances, visant à enrichir les représentations des entités à queue longue tout en résolvant les problèmes des méthodes descriptionnelles antérieures. Nous formulons l'apprentissage de KE basé sur la description au moyen d'un cadre d'apprentissage par contraste afin d'améliorer l'efficacité lors de l'entraînement et de l'évaluation. Les résultats expérimentaux montrent que LMKE atteint des performances de pointe sur les benchmarks de KE pour la prédiction de liens et la classification de triples, particulièrement pour les entités à queue longue.