النماذج اللغوية المعتمدة على المراجع

نقترح فئة عامة من نماذج اللغة التي تتعامل مع الإشارة كمتغير عشوائي خفي صريح. يسمح هذا التصميم للنماذج بإنشاء ذكريات للكيانات وصفاتها من خلال الوصول إلى قواعد بيانات خارجية (مطلوبة على سبيل المثال في إنشاء الحوار وإنشاء الوصفات) والحالة الداخلية (مطلوبة على سبيل المثال في نماذج اللغة التي تعي مرجعية الكيانات). هذا يسهل دمج المعلومات التي يمكن الوصول إليها في مواقع متوقعة في قواعد البيانات أو سياق الخطاب، حتى عندما قد تكون أهداف الإشارة كلمات نادرة. أظهرت التجارب على ثلاث مهام أن طرز نموذجنا تعتمد على الانتباه الحتمي.