Command Palette
Search for a command to run...
الخيال الإبداعي يرفع من مستوى الترجمة الآلية
الخيال الإبداعي يرفع من مستوى الترجمة الآلية
Quanyu Long Mingxuan Wang Lei Li
الملخص
توجد معاني مشتركة تُشارك بين النصوص والصور. بالنظر إلى جملة بلغة مصدرية، هل يُسهم وصف المشهد البصري في تحسين الترجمة إلى لغة الهدف؟ تعتمد الطرق الحالية لترجمة الآلة متعددة الوسائط (MNMT) على ثلاثيات مكونة من جملة ثنائية اللغة وصورة واحدة أثناء التدريب، وعلى مجموعات مكونة من جملة مصدرية وصورة واحدة أثناء الاستنتاج. في هذه الورقة، نقترح "ImagiT"، وهي طريقة جديدة لترجمة الآلة تعتمد على التخيل البصري. تتعلم ImagiT أولاً إنتاج تمثيل بصري من الجملة المصدرية، ثم تستخدم كل من الجملة المصدرية والتمثيل "المُتخيل" لإنتاج الترجمة المستهدفة. على عكس الطرق السابقة، فإن ImagiT تحتاج فقط إلى الجملة المصدرية أثناء الاستنتاج. تُظهر التجارب أن ImagiT تستفيد من عملية التخيل البصري، وتفوق بشكل ملحوظ الطرق القائمة على النص فقط في ترجمة الآلة العصبية. كما يُظهر التحليل الإضافي أن عملية التخيل في ImagiT تساعد في ملء الفجوات الناتجة عن تطبيق استراتيجية التدهور.