المعرفة اللغوية كذاكرة للشبكات العصبية المتكررة

تعد تدريب الشبكات العصبية المتكررة لنمذجة الاعتمادات طويلة المدى أمرًا صعبًا. ولذلك، نقترح استخدام المعرفة اللغوية الخارجية كإشارة صريحة لإعلام النموذج بال ذكريات التي يجب أن يستخدمها. بوجه خاص، يتم استخدام المعرفة الخارجية لتوسيع التسلسل بإضافة حواف مصنفة بين عناصر بعيدة بشكل تعسفي، ثم يتم تفكيك الرسم البياني الناتج إلى رسم بياني جزئي غير دائري وموجه. نقدم نموذجًا يرمّز مثل هذه الرسوم البيانية كذاكرة صريحة في الشبكات العصبية المتكررة، ويستخدم لنمذجة العلاقات المرجعية في النص. نطبق نموذجنا على عدة مهام فهم النص ونحقق أفضل النتائج الحالية على جميع المقاييس المعنية، بما في ذلك CNN وbAbi وLAMBADA. وفي مهام أسئلة bAbi، يحل نموذجنا 15 من أصل 20 مهمة باستخدام 1000 مثال تدريبي فقط لكل مهمة. كما أن تحليل التمثيلات المُتعلمة يظهر قدرة نموذجنا على رمز المعلومات الكيانية الدقيقة عبر الوثيقة.