شبكات الذاكرة من النهاية إلى النهاية

نقدم شبكة عصبية تستخدم نموذج انتباه متكرر على ذاكرة خارجية محتملة كبيرة. هيكل هذه الشبكة هو نوع من شبكات الذاكرة (Weston وآخرون، 2015)، ولكن على عكس النموذج في تلك الدراسة، يتم تدريبها بشكل متكامل من البداية إلى النهاية، مما يتطلب رقابة أقل بكثير أثناء التدريب، مما يجعلها أكثر قابلية للتطبيق في الإعدادات الواقعية. يمكن أيضًا اعتبارها توسيعًا لـ RNNsearch إلى الحالة التي يتم فيها تنفيذ خطوات حسابية متعددة (قفزات) لكل رمز إخراجي. المرونة في هذا النموذج تسمح لنا بتطبيقه على مهام متنوعة مثل (الاصطناعية) الإجابة على الأسئلة وفي نمذجة اللغة. بالنسبة للأولى، يتنافس نهجنا مع شبكات الذاكرة ولكنه يتطلب رقابة أقل. وبالنسبة للثانية، على مجموعات البيانات Penn TreeBank وText8، يظهر نهجنا أداءً مشابهًا لتلك الذي تقدمه RNNs وLSTMs. في كلا الحالتين، نوضح أن المفهوم الرئيسي للقفزات الحسابية المتعددة يؤدي إلى نتائج أفضل.