الترجمة الإشارية العصبية

تمثّل تقنية التعرف على لغة الإشارة (SLR) مجالًا بحثيًا نشطًا على مدار العقدين الماضيين. ومع ذلك، فإن معظم الأبحاث حتى الآن اعتُبرت مشكلة التعرف على لغة الإشارة كمشكلة بسيطة للتعرف على الإشارات الحركية. فالهدف من SLR هو التعرف على تسلسل من الإشارات المستمرة، لكنها تتجاهل البنية النحوية واللغوية الغنية الكامنة وراء لغة الإشارة، والتي تختلف عن لغة الكلام. على النقيض من ذلك، نقدّم مشكلة الترجمة إلى لغة الإشارة (SLT). وهنا، يكون الهدف هو إنتاج ترجمات بلغة الكلام من مقاطع فيديو لغة الإشارة، مع أخذ الفروقات في ترتيب الكلمات والقواعد بعين الاعتبار. نُصَفّي مشكلة SLT ضمن إطار الترجمة الآلية العصبية (NMT) في كلا الحالتين: النموذج المتكامل (end-to-end) والنموذج المُدرّب مسبقًا (باستخدام المعرفة الخبيرة). وهذا يمكّننا من تعلّم تمثيلات فضائية، ونموذج لغوي داخلي، والربط بين لغة الإشارة ولغة الكلام بشكل مشترك. لتقدير أداء الترجمة العصبية لغة الإشارة، جمعنا أول مجموعة بيانات مفتوحة للترجمة المستمرة لغة الإشارة (Continuous SLT)، وهي مجموعة RWTH-PHOENIX-Weather 2014T. توفر هذه المجموعة ترجمات بلغة الكلام، وتعليقات على مستوى "الغلوس" (gloss) لمقاطع فيديو بلغة الإشارة الألمانية من بثّات الطقس. تحتوي المجموعة على أكثر من 950 ألف إطار، و逾 67 ألف إشارة من مفردات إشارة تضم أكثر من 1000 مصطلح، و逾 99 ألف كلمة من مفردات اللغة الألمانية التي تضم أكثر من 2800 كلمة. ونُقدّم نتائج كمية ونوعية لعدد من التكوينات المختلفة لـ SLT، لدعم الأبحاث المستقبلية في هذا المجال الجديد. وتم حساب الحد الأقصى الممكن لأداء الترجمة عند 19.26 نقطة BLEU-4، في حين تمكّن نموذجنا المتكامل على مستوى الإطارات (frame-level) ونموذج التجزئة على مستوى "الغلوس" (gloss-level) من تحقيق 9.58 و18.13 على التوالي.