هل يمكن للذاكرة النشطة أن تحل محل الانتباه؟
في السنوات الأخيرة، تم استخدام عدة آليات لتركيز انتباه الشبكة العصبية على أجزاء محددة من إدخالها أو ذاكرتها بنجاح في نماذج التعلم العميق. لقد ساعد الانتباه في تحسين تصنيف الصور، وكتابة التعليقات على الصور، وتعرف الكلام، والنماذج التوليدية، والخوارزميات التعليمية، ولكنه كان له ربما أكبر الأثر على الترجمة الآلية العصبية.مؤخرًا، تم الحصول على تحسينات مشابهة باستخدام آليات بديلة لا تركز على جزء واحد فقط من الذاكرة ولكن تعمل على جميع أجزائها بشكل متوازي وبطريقة موحدة. نحن نطلق على هذه الآلية اسم "الذاكرة النشطة"، وقد تفوقت على الانتباه في المهام الخوارزمية ومعالجة الصور وفي النمذجة التوليدية.ومع ذلك، لم تتفوق الذاكرة النشطة حتى الآن على الانتباه في معظم مهام معالجة اللغة الطبيعية، وخاصةً في الترجمة الآلية. نقوم في هذا البحث بتحليل هذا القصور واقتراح نموذج موسّع للذاكرة النشطة يتطابق مع النماذج الحالية للانتباه في الترجمة الآلية العصبية ويؤدي بشكل أفضل مع الجمل الأطول. ندرس هذا النموذج ونوضح أسباب فشل النماذج السابقة للذاكرة النشطة. وأخيرًا، نناقش الحالات التي تكون فيها الذاكرة النشطة الأكثر فائدة والأماكن التي يمكن أن يكون فيها الانتباه الخيار الأفضل.