الذاكرة المذكورة: دمج المعرفة النصية في التحولات من خلال انتباه الإشارة إلى الكيان

تتطلب مهام فهم اللغة الطبيعية مثل الإجابة على الأسئلة في مجالات مفتوحة غالبًا استرجاع المعلومات الواقعية من مصادر متعددة ودمجها. نقترح معالجة هذه المشكلة من خلال دمج تمثيل شبه-معلمي لقاعدة بيانات نصية كبيرة داخل نموذج مُحَوِّل (Transformer) كمصدر للمعرفة الواقعية. وبشكل محدد، يمثل منهجنا المعرفة من خلال "ذاكرة الإشارة" (mention memory)، وهي جدول يحتوي على تمثيلات متجهة كثيفة لكل إشارة إلى كيان في القاعدة النصية. النموذج المقترح، المسمى TOME، هو نموذج مُحَوِّل يُجري الوصول إلى المعلومات من خلال طبقات الذاكرة الداخلية، حيث تُوجه كل إشارة إلى كيان في النص المدخل نحو ذاكرة الإشارة. يُمكّن هذا النهج من دمج واستنتاج الاستنتاجات من مصادر متعددة ومختلفة ضمن نموذج مُحَوِّل واحد. وفي التجارب التي استخدمت ذاكرة تتضمن 150 مليون إشارة من ويكيبيديا، حقق نموذج TOME أداءً قويًا في عدة مهام تعتمد على المعرفة في مجالات مفتوحة، بما في ذلك معايير التحقق من الادعاءات HoVer وFEVER، بالإضافة إلى عدة معايير للأسئلة القائمة على الكيانات. كما أظهرنا أن النموذج يتعلم التوجه نحو الإشارات المفيدة دون أي إشراف مباشر. وأخيرًا، أثبتنا أن النموذج قادر على التعميم على كيانات جديدة من خلال تحديث الذاكرة دون الحاجة إلى إعادة تدريبه.