تتبع حالة العالم باستخدام شبكات الكيانات المتكررة

نقدم نموذجًا جديدًا، وهو شبكة الكيانات المتكررة (Recurrent Entity Network - EntNet). يتم تجهيز هذا النموذج بذاكرة طويلة الأمد ديناميكية تسمح له بالحفاظ على تحديث تمثيل حالة العالم أثناء استقباله بيانات جديدة. بالنسبة للمهام المتعلقة بفهم اللغة، يمكنه أن يستدل بشكل فوري أثناء قراءة النص، وليس فقط عند طلب إجابته على سؤال أو رده كما هو الحال في شبكات الذاكرة (Sukhbaatar et al., 2015). مثل آلة تورينغ العصبية وكمبيوتر النيورون القابل للتفاضل (Graves et al., 2014; 2016)، يحافظ على ذاكرة ثابتة الحجم ويمكنه التعلم لتنفيذ عمليات القراءة والكتابة بناءً على الموقع والمحتوى. ومع ذلك، على عكس هذه النماذج، لديه هندسة معمارية متوازية بسيطة يمكن فيها تحديث عدة مواقع ذاكرة في وقت واحد. تحدد الشبكة EntNet مستوى جديدًا من التقنية المتطورة في مهام bAbI، وهي أول طريقة تحل جميع المهام في الإعداد الذي يتضمن 10,000 مثال تدريبي. كما نوضح أنها قادرة على حل مهمة تتطلب عددًا كبيرًا من الحقائق الداعمة التي لا تستطيع الأساليب الأخرى حلها، ويمكنها التوسع خارج أفق التدريب الخاص بها. يمكن أيضًا استخدامها بشكل عملي على مجموعات بيانات كبيرة مثل اختبار كتاب الأطفال، حيث تحصل على أداء تنافسي من خلال قراءة القصة في مرور واحد.