ترجمة اللغة الإشارة من مقاطع الفيديو التعليمية

أحرزت التطورات في ترجمة لغة الإشارة التلقائية (SLT) إلى اللغات المنطوقة تقدماً كبيراً، لكنها تم تقييمها في الغالب باستخدام مجموعات بيانات محدودة الحجم ومحدودة النطاق. ويساهم عملنا في تطوير الحد الأقصى من التقدم من خلال تقديم النتائج الأساسية الأولى على مجموعة بيانات "How2Sign"، وهي مجموعة بيانات كبيرة ومتنوعة. قمنا بتدريب نموذج Transformer على ميزات الفيديو المستمدة من I3D، باستخدام مقياس BLEU المُبسَّط كمقياس مرجعي للتحقق، بدلاً من استخدام مقياس BLEU الشائع. ونُعلن عن نتيجة قدرها 8.03 في مقياس BLEU، ونُنشر أول نسخة مفتوحة المصدر من هذا النوع، بهدف تعزيز التطورات المستقبلية.