الانتباه عبر الإنترنت وفي الوقت الخطي من خلال فرض التحالفات المتدرجة

أثبتت نماذج الشبكات العصبية المتكررة ذات آلية الانتباه أنها فعالة للغاية في مجموعة واسعة من مشاكل التحويل من تسلسل إلى تسلسل. ومع ذلك، فإن حقيقة أن آليات الانتباه الناعمة تقوم بتمرير كامل على التسلسل الإدخالي بأكمله عند إنتاج كل عنصر في التسلسل الإخراجي تحول دون استخدامها في البيئات الحية (online) وتؤدي إلى تعقيد زمني تربيعي. استنادًا إلى الرؤية القائلة بأن التناظر بين عناصر التسلسل الإدخالي والإخراجي يكون مونوتوبيًا (monotonic) في العديد من المشاكل ذات الاهتمام، نقترح طريقة قابلة للتفاضل بشكل كامل لتعلم التناظرات المونوتوبية التي، عند وقت الاختبار، تمكّن من حساب الانتباه بشكل حي وفي وقت خطي. نحن نتحقق من صحة نهجنا في مشاكل تلخيص الجمل، والترجمة الآلية، وتمييز الكلام الحياوي (online speech recognition)، ونحقق نتائج تنافسية مع النماذج الموجودة للتحويل من تسلسل إلى تسلسل.