تحسين الترجمة من اللغة الإشارية باستخدام STMC-Transformer

يُستخدم في ترجمة لغة الإشارة (SLT) أولاً نظام تمييز لغة الإشارة (SLR) لاستخراج "الغلوس" الخاصة بلغة الإشارة من مقاطع الفيديو، ثم يُستخدم نظام ترجمة لإنتاج ترجمات بلغة الكلام من الغلوس الناتجة. يركّز هذا البحث على نظام الترجمة، ويقدّم نموذج STMC-Transformer الذي يُحسّن الأداء الحالي على مستوى الحد الأقصى (SOTA) بنسبة تزيد عن 5 و7 نقاط في مقياس BLEU على التوالي، في مهام الترجمة من غلوس إلى نص، وفي الترجمة من فيديو إلى نص، باستخدام مجموعة بيانات PHOENIX-Weather 2014T. كما نُسجّل زيادة تفوق 16 نقطة في مقياس BLEU على مجموعة بيانات ASLG-PC12.كما نُظهر مشكلة تُعاني منها الأساليب الحالية التي تعتمد على التدريب باستخدام الغلوس كوسيلة إشراف. إذ يُظهر نموذج STMC-Transformer أداءً أفضل في الترجمة من الفيديو إلى النص مقارنةً بترجمة الغلوس الحقيقية (GT glosses)، وهو ما يتعارض مع الادعاءات السابقة التي تنص على أن ترجمة الغلوس الحقيقية تمثل الحد الأقصى الأعلى (upper bound) لأداء نظم ترجمة لغة الإشارة، مما يُشير إلى أن الغلوس ليست تمثيلاً فعّالاً لغة الإشارة. ولذلك، نقترح في الأبحاث المستقبلية للترجمة من لغة الإشارة اعتماد تدريب نموذج متكامل من البداية إلى النهاية (end-to-end) للنماذج المعتمدة على التمييز والترجمة، أو استخدام نظام آخر لتوثيق لغة الإشارة.