إدراج المعرفة السابقة يمكن أن يُحسّن النماذج الحالية المُدرّبة مسبقًا في مهام القراءة الآلية من نوع "الحذف" (cloze-style)، وقد أصبح اتجاهًا جديدًا في الدراسات الحديثة. وبشكل لافت، فإن معظم النماذج الحالية تدمج مخططات المعرفة الخارجية (KG) مع النماذج القائمة على مُحولّات (Transformer)، مثل BERT، في هيكل بيانات موحد. ومع ذلك، لا يزال تحديد الكيانات الغامضة الأكثر صلة في مخططات المعرفة واستخراج أفضل رسم فرعي تمثل تحديًا كبيرًا. في هذا البحث، نقترح نموذج LUKE-Graph، الذي يُبنى على رسم بياني غير متجانس يستند إلى العلاقات البديهية بين الكيانات في المستند، دون الحاجة إلى أي مخطط معرفة خارجي. ثم نستخدم شبكة انتباه رسمية ذات علاقات (RGAT) لدمج معلومات الاستدلال من الرسم البياني مع التمثيل السياقي الذي تُشفّره نموذج LUKE المُدرّب مسبقًا. وبهذه الطريقة، نستفيد من LUKE لاستخلاص تمثيلات واعية بالكيانات، ونستفيد من نموذج الرسم البياني لاستخلاص تمثيلات واعية بالعلاقات. علاوةً على ذلك، نقترح نموذج Gated-RGAT من خلال تعزيز RGAT بآلية تَشْغيل (gating) تُنظِّم معلومات السؤال أثناء عملية التصفية الرسومية. ويُشبه هذا التصميم بشدة عملية التفكير البشرية، حيث يختار البشر دائمًا أفضل مرشح للكيان بناءً على معلومات السؤال. أظهرت النتائج التجريبية أن نموذج LUKE-Graph يحقق أداءً متميزًا على مجموعة بيانات ReCoRD في مهام الاستدلال البديهي (commonsense reasoning).