التعلم على التغاضي: الترابط النووي في المستندات الطويلة باستخدام الشبكات العصبية ذات الذاكرة المحدودة

تبقى مهمة تحديد الهوية في المستندات الطويلة تحديًا كبيرًا بسبب الطلب العالي على الذاكرة والوقت التشغيلي الناتج عن النماذج الحالية. وقد أظهرت الدراسات الحديثة أن استخدام تمثيل عالمي فقط للكيانات في عملية التحديد التدريجي للهوية يحقق فوائد عملية، لكنها تتطلب الاحتفاظ بجميع الكيانات في الذاكرة، وهو ما قد يكون غير عملي بالنسبة للمستندات الطويلة. نحن نجادل بأن الاحتفاظ بجميع الكيانات في الذاكرة ليس ضروريًا، ونُقدّم شبكة عصبية مُعززة بالذاكرة تتبع عددًا محدودًا وصغيرًا من الكيانات في كل مرة، مما يضمن زمن تشغيل خطي بالنسبة لطول المستند. ونُظهر أن (أ) يظل النموذج منافسًا للنماذج ذات المتطلبات العالية من الذاكرة والحساب على مجموعتي بيانات OntoNotes وLitBank، و(ب) يتعلم النموذج استراتيجية فعالة لإدارة الذاكرة، تتفوق بسهولة على الاستراتيجية القائمة على القواعد.