SignBERT+: تدريب مسبق ذاتيّ الانتباه للنموذج اليدوي لفهم لغة الإشارة

تلعب الإيماءات اليدوية دورًا محوريًا في التعبير عن اللغة الإشارة. تُعاني الطرق القائمة على التعلم العميق لفهم اللغة الإشارة (SLU) حاليًا من احتمال التعلم الزائد (over-fitting) نظرًا لقلة موارد بيانات الإشارات، كما تعاني من محدودية في قابلية التفسير. في هذا البحث، نقترح أول إطار عمل قابِل للتدريب المسبق ذاتيًا يُسمى SignBERT+، يُدمج فيه معلومات مسبقة مُستندة إلى اليد (hand prior) وتعتمد على وعي النموذج. في إطارنا، تُعتبر موضع اليد (hand pose) كـ "رمز بصري" (visual token)، يتم استخلاصه من كاشف جاهز (off-the-shelf detector). ويتم ترميز كل رمز بصري ببيانات حالة الإيماءة ورموز الموضع الزماني المكاني. وللاستفادة الكاملة من الموارد الحالية لبيانات اللغة الإشارة، نقوم أولًا بتطبيق التعلم الذاتي (self-supervised learning) لمحاكاة الإحصائيات الخاصة بها. ولتحقيق ذلك، نصمم استراتيجيات متعددة المستويات لمحاكاة حالات الفشل الشائعة في الكشف (النماذج المُقنّعة على مستوى المفصل، والإطار، والقطعة الزمنية). وبالإضافة إلى هذه الاستراتيجيات، ندمج معلومات مسبقة مُستندة إلى اليد وتعتمد على وعي النموذج، مما يُمكّن من التقاط السياق الهرمي على طول التسلسل بشكل أفضل. وبعد التدريب المسبق، نصمم بعناية رؤوس تنبؤ بسيطة ولكنها فعّالة للوظائف اللاحقة. ولتأكيد فعالية إطارنا، أجرينا تجارب واسعة على ثلاث مهام رئيسية في فهم اللغة الإشارة، تشمل التعرف على الإشارات المنفصلة والمستمرة (SLR)، والترجمة إلى اللغة الإشارة (SLT). أظهرت النتائج التجريبية فعالية طريقة العمل، حيث حققت أداءً جديدًا على مستوى الحد الأقصى (state-of-the-art) مع تحسن ملحوظ.