الطرق الفعالة للترجمة الآلية العصبية القائمة على الانتباه

لقد تم استخدام آلية الانتباه مؤخرًا لتحسين الترجمة الآلية العصبية (NMT) من خلال التركيز بشكل انتقائي على أجزاء من الجملة المصدر أثناء الترجمة. ومع ذلك، فإن هناك قليلًا من الأعمال التي تستكشف المعماريات المفيدة لـ NMT القائمة على الانتباه. يفحص هذا البحث فئتين بسيطتين وفعالتين من آليات الانتباه: نهج عالمي يركز دائمًا على جميع كلمات المصدر، ونهج محلي ينظر فقط إلى مجموعة جزئية من كلمات المصدر في كل مرة. نثبت فعالية كلا النهجين في مهام الترجمة WMT بين الإنجليزية والألمانية في الاتجاهين. باستخدام الانتباه المحلي، نحقق زيادة كبيرة تبلغ 5.0 نقطة BLEU مقارنة بأنظمة غير قائمة على الانتباه والتي تضم بالفعل تقنيات معروفة مثل الانقطاع (dropout). لقد أنشأنا نموذجًا مشتركًا يستخدم معماريات مختلفة للانتباه، مما حقق نتيجة جديدة رائدة في مهمة الترجمة من الإنجليزية إلى الألمانية في WMT'15 بـ 25.9 نقطة BLEU، وهي تحسين بمقدار 1.0 نقطة BLEU عن النظام الأفضل الموجود والمدعوم بتقنية NMT وإعادة تصنيف النماذج الن-جرامية (n-gram reranker).