نموذج عصبي مرتبط بالانتباه البصري للترجمة الآلية متعددة الوسائط

نقدم نموذج ترجمة آلي متعدد الوسائط جديد يستخدم المعلومات البصرية والنصية المتوازية. يُحسّن نموذجنا بشكل مشترك تعلم التضمين المرئي-اللغوي المشترك والترجمة. يستفيد النموذج من آلية ربط الانتباه البصري التي تربط الدلالات البصرية بالدلالات النصية المقابلة. حققت طريقتنا نتائج تنافسية على مستوى الطليعة في مجموعتي البيانات Multi30K وAmbiguous COCO. كما جمعنا مجموعة بيانات جديدة متعددة اللغات ومتنوعة الوسائط لوصف المنتجات بهدف محاكاة سيناريو تسوق إلكتروني دولي حقيقي. في هذه المجموعة من البيانات، أظهر نموذج ربط الانتباه البصري لدينا تفوّقًا كبيرًا على الأساليب الأخرى.