منذ 2 أشهر
النماذج العصبية للاستدلال على الإشارات المتعددة باستخدام التقابل المرجعي
Bhuwan Dhingra; Qiao Jin; Zhilin Yang; William W. Cohen; Ruslan Salakhutdinov

الملخص
تتطلب العديد من المشكلات في معالجة اللغة الطبيعية (NLP) جمع المعلومات من ذكر كيان واحد في مواقع مختلفة ومتباعدة في النص. ومع ذلك، فإن طبقات الشبكات العصبية التكرارية (RNN) الحالية متحيزة نحو الارتباطات قصيرة المدى وبالتالي ليست مناسبة لهذه المهام. نقدم في هذا البحث طبقة تكرارية متحيزة نحو الارتباطات المرجعية (coreferent dependencies). تستخدم هذه الطبقة شروحًا للمرجعية المستخرجة من نظام خارجي لربط ذكريات الكيانات التي تنتمي إلى نفس المجموعة. عند دمج هذه الطبقة في نموذج فهم القراءة المتقدم، يتحسن الأداء على ثلاثة مجموعات بيانات -- Wikihop، LAMBADA والمهام الذكية البسيطة bAbi -- مع تحقيق مكاسب كبيرة عندما تكون بيانات التدريب محدودة.