الآلة العصبية الديناميكية لتورينج مع مخططات توجيه ناعمة وخشنة

نقوم بتوسيع نموذج آلة تورينغ العصبية (NTM) إلى آلة تورينغ العصبية الديناميكية (D-NTM) من خلال إدخال نظام توجيه ذاكرة قابل للتدريب. يحافظ هذا النظام على متجهين منفصلين لكل خلية ذاكرة، وهما المتجه المحتوى والمتجه العنوان. وهذا يسمح لـ D-NTM بتعلم مجموعة واسعة من استراتيجيات التوجيه القائمة على الموقع، بما في ذلك الخطية وغير الخطية. نقوم بتنفيذ D-NTM باستخدام آليات القراءة والكتابة المستمرة والقابلة للمفاضلة، وكذلك آليات القراءة والكتابة المنفصل غير القابلة للمفاضلة. ندرس الآليات والتأثيرات الخاصة بتعلم القراءة والكتابة في الذاكرة من خلال تجارب على مهام Facebook bAbI باستخدام كلاً من المتحكم التغذوي الأمامي (feedforward) ومتحكم GRU. يتم تقييم D-NTM على مجموعة من مهام Facebook bAbI ويُظهر أداءً أفضل من خطوط الأساس NTM وLSTM. لقد أجرينا تحليلًا شاملًا لنموذجنا وللتغيرات المختلفة لـ NTM على مهمة bAbI. كما نقدم نتائج تجريبية إضافية على مهام pMNIST المتتابعة، والاستدلال اللغوي الطبيعي لستانفورد، واستدعاء المرتبط، ونسخ البيانات.