تقطير الترجمات مع الوعي البصري

العمل السابق في مجال الترجمة الآلية متعددة الوسائط أظهر أن المعلومات البصرية تكون ضرورية فقط في حالات محددة للغاية، مثل وجود كلمات غامضة حيث لا يكون السياق النصي كافياً. نتيجة لذلك، تميل النماذج إلى تعلم تجاهل هذه المعلومات. نقترح نهجاً للترجمة والتحسين يستخدم فيه الصور فقط من قبل مفك الشفرة (الديكودر) في المرحلة الثانية. يتم تدريب هذا النهج بشكل مشترك لإنتاج ترجمة أولية جيدة وتحسينها من خلال (أ) الاستفادة بشكل أفضل من سياق اللغة الهدف (السياق الأيمن والأيسر) و(ب) استخدام السياق البصري. يؤدي هذا النهج إلى تحقيق أفضل النتائج الحالية. بالإضافة إلى ذلك، نوضح أنه لديه القدرة على التعافي من الكلمات الخاطئة أو المفقودة في اللغة المصدر.