المنشئ ذو الانتباه المزدوج لترجمة الآلة العصبية متعددة الوسائط

نقدم نموذج ترجمة آلي متعدد الوسائط يدمج فيه مفكك الترميز ذو الانتباه المزدوج الخصائص البصرية المكانية التي يتم الحصول عليها باستخدام شبكات العصبونات التلافيفية المدربة مسبقًا، مما يربط الفجوة بين وصف الصور والترجمة. يتعلم مفكك الترميز لدينا الانتباه إلى كلمات اللغة المصدر وأجزاء من الصورة بشكل مستقل عبر آلية انتباه منفصلتين أثناء إنتاج الكلمات في اللغة الهدف. لقد وجدنا أن نموذجنا يمكنه استغلال البيانات المتعددة الوسائط ذات المجال الداخلي المحولة للخلف بكفاءة، بالإضافة إلى كوربوسات الترجمة النصية الكبيرة ذات المجال العام. كما نبلغ أيضًا عن أفضل النتائج الحالية على مجموعة بيانات Multi30k (Multi30k).