ميديابي-ريغب: تمكين التحولات التكنولوجية في أبحاث لغة الإشارة الفرنسية (LSF) من خلال مجمّع فيديو-نص واسع النطاق

نُقدِّم "ميديابي-أر جي بي" (Mediapi-RGB)، وهو مجموعة بيانات جديدة للغة الإشارة الفرنسية (LSF)، إلى جانب أول نموذج لترجمة آليّة من لغة الإشارة الفرنسية إلى اللغة الفرنسية. تضم هذه المجموعة 86 ساعة من الفيديو، ما يجعلها أكبر مجموعة بيانات مُتاحة لغة الإشارة الفرنسية مع ترجمة مُصاحبة. وتتكوّن المجموعة من محتوى أصلي باللغة الفرنسية للإشارات، تم إنتاجه بواسطة صحفيين سمعيين، مع ترجمة فورية مكتوبة بالفرنسية مُحاذاة بدقة مع الإشارات. تُتاح النسخة الحالية من "ميديابي-أر جي بي" عبر مستودع مجموعات البيانات "أورتولانغ" (Ortolang)، ويمكن استخدامها لأغراض بحثية أكاديمية. وتشمل مجموعات الاختبار والتحقق 13 و7 ساعات من الفيديو على التوالي. بينما تضم مجموعة التدريب 66 ساعة من الفيديو، والتي سيتم إصدارها تدريجيًا حتى ديسمبر 2024. بالإضافة إلى ذلك، تشمل النسخة الحالية نقاط مفاتيح العظام (skeleton keypoints)، وتقسيم زمني للإشارات، وسمات فضائية زمنية، وترجمات فورية لجميع مقاطع الفيديو في مجموعات التدريب والتحقق والاختبار، فضلاً عن قائمة مقترحة من الأسماء لغرض التقييم. كما نقدّم نتائج أول نموذج قاعدة (baseline) لترجمة لغة الإشارة الفرنسية إلى الفرنسية على هذه المجموعة، وذلك لتوفير نظرة عامة على الإمكانيات التي تتيحها هذه المجموعة من النوع غير المسبوق لغة الإشارة الفرنسية. وأخيرًا، نقترح تطبيقات تقنية ولغوية محتملة لهذا النوع الجديد من مجموعات البيانات المرئية-النصية.