Command Palette
Search for a command to run...
الانتباه عبر الإنترنت وفي الوقت الخطي من خلال فرض التحالفات المتدرجة
الانتباه عبر الإنترنت وفي الوقت الخطي من خلال فرض التحالفات المتدرجة
Colin Raffel Minh-Thang Luong Peter J. Liu Ron J. Weiss Douglas Eck
الملخص
أثبتت نماذج الشبكات العصبية المتكررة ذات آلية الانتباه أنها فعالة للغاية في مجموعة واسعة من مشاكل التحويل من تسلسل إلى تسلسل. ومع ذلك، فإن حقيقة أن آليات الانتباه الناعمة تقوم بتمرير كامل على التسلسل الإدخالي بأكمله عند إنتاج كل عنصر في التسلسل الإخراجي تحول دون استخدامها في البيئات الحية (online) وتؤدي إلى تعقيد زمني تربيعي. استنادًا إلى الرؤية القائلة بأن التناظر بين عناصر التسلسل الإدخالي والإخراجي يكون مونوتوبيًا (monotonic) في العديد من المشاكل ذات الاهتمام، نقترح طريقة قابلة للتفاضل بشكل كامل لتعلم التناظرات المونوتوبية التي، عند وقت الاختبار، تمكّن من حساب الانتباه بشكل حي وفي وقت خطي. نحن نتحقق من صحة نهجنا في مشاكل تلخيص الجمل، والترجمة الآلية، وتمييز الكلام الحياوي (online speech recognition)، ونحقق نتائج تنافسية مع النماذج الموجودة للتحويل من تسلسل إلى تسلسل.