أدى القدرة التي تتمتع بها الرسوم المعرفية على تمثيل العلاقات المعقدة على نطاق واسع إلى اعتمادها في مجموعة متنوعة من الاحتياجات، بما في ذلك تمثيل المعرفة، والإجابة على الأسئلة، وأنظمة التوصية. غالبًا ما تكون الرسوم المعرفية غير كاملة من حيث المعلومات التي تمثلها، مما يستدعي الحاجة إلى مهام استكمال الرسوم المعرفية. وقد أظهرت نماذج اللغة المُدرَّبة مسبقًا والمنقحة لاحقًا إمكانات واعدة في هذه المهام، رغم أن هذه النماذج تتجاهل المعلومات الجوهرية المُشفَّرة داخل الرسم المعرفي، وهي على وجه التحديد أنواع الكيانات والعلاقات. في هذا العمل، نقترح بنية نموذج اللغة المعرفي (KGLM)، حيث نُدخل طبقة جديدة لتمثيل الكيانات/العلاقات، تتعلم التمييز بين أنواع الكيانات والعلاقات المميزة، مما يمكّن النموذج من تعلُّم البنية الخاصة بالرسم المعرفي. ونُظهر في هذا العمل أنه عند مواصلة تدريب النماذج اللغوية مسبقًا باستخدام هذه الطبقة الإضافية لتمثيل، باستخدام ثلاثيات مُستخرجة من الرسم المعرفي، تليها مرحلة التخصيص القياسية، يُحقَّق أداءً جديدًا لحالة الفن (state-of-the-art) في مهمة توقع الروابط على مجموعات البيانات القياسية.