نموذج متغير كامن للترجمة متعددة الأوضاع

في هذا البحث، نقترح نمذجة التفاعل بين الخصائص البصرية والنصية في الترجمة العصبية متعددة الوسائط (MMT) من خلال نموذج متغير كامن. يمكن اعتبار هذا المتغير الكامن كتمثيل عشوائي متعدد الوسائط لصورة ووصفها بلغة أجنبية. يتم استخدامه في مفكك اللغة الهدف ويستخدم أيضًا للتنبؤ بخصائص الصورة. من المهم أن صياغتنا للنموذج تستفيد من المدخلات البصرية والنصية أثناء التدريب ولكنها لا تتطلب توفر الصور عند الاختبار. نظهر أن صياغتنا للترجمة العصبية متعددة الوسائط باستخدام المتغير الكامن تحسن بشكل كبير على قواعد البيانات القوية، بما في ذلك نهج التعلم متعدد المهام (Elliott و Kádár، 2017) ونهج مولد التباين الشرطي (Toyama et al., 2016). أخيرًا، نبين التحسينات التي تحققت بسبب: (i) التنبؤ بخصائص الصورة بالإضافة إلى شرط وجودها فقط، (ii) فرض قيد على الحد الأدنى للمعلومات المشفرة في المتغير الكامن، و(iii) التدريب على وصف الصور الإضافي باللغة الهدف (أي بيانات افتراضية).请注意，人名和机构名称如 "Elliott" 和 "Kádár" 以及 "Toyama et al." 在阿拉伯语中通常会保留其原始形式，以确保准确性。