دمج الرسم البياني غير المتجانس مع الانتباه الذاتي الواعي بالكيانات باستخدام ملصقات الموضع النسبي لنموذج الفهم القرائي

رغم التقدم الكبير الذي أحرزته نماذج الترانسفورمر في مهام فهم القراءة الآلية، فإنها لا تزال تعاني من صعوبات في التعامل مع المهام التي تتطلب استدلالًا معقدًا بسبب غياب المعرفة الصريحة في سلسلة الإدخال. لمعالجة هذه القيود، اقترح العديد من الأعمال الحديثة حقن المعرفة الخارجية في النموذج. ومع ذلك، فإن اختيار المعرفة الخارجية ذات الصلة، ضمان توفرها، والحاجة إلى خطوات معالجة إضافية لا تزال تمثل تحديات. في هذا البحث، نقدم نمط انتباه جديد يدمج معرفة الاستدلال المستخرجة من رسم بياني متنوع (heterogeneous graph) في بنية الترانسفورمر دون الاعتماد على المعرفة الخارجية. يتكون النمط المقترح للانتباه من ثلاثة عناصر رئيسية: الانتباه العالمي والموضعي لكلمات الرموز (word tokens)، والانتباه البياني لرموز الكيانات (entity tokens) التي تظهر انتباهًا قويًا نحو الرموز المتصلة في الرسم البياني مقارنة بتلك غير المتصلة، واعتبار نوع العلاقة بين كل رمز كيان وكلمة رمز. هذا يؤدي إلى تحسين الانتباه بين الاثنين إذا كانت هناك علاقة. يتم ربط هذا النمط بعلامات موقع نسبي خاصة، مما يتيح له الاندماج مع آلية الانتباه الذاتي الواعي بالكيانات في LUKE. تؤكد النتائج التجريبية أن نموذجنا يتفوق على كل من LUKE-Graph الأحدث ونموذج LUKE الأساسي عبر مجموعتين مختلفتين من البيانات: ReCoRD، التي تركز على الاستدلال الشائع، وWikiHop، التي تركز على تحديات الاستدلال متعدد الخطوات.