الاعتراف باللغة الإشارة المدعومة باللغة الطبيعية

اللغات الإشارة هي لغات بصرية تُوصِّل المعلومات من خلال شكل اليدين، والتعبيرات الوجهية، وحركات الجسم، وغيرها. وبسبب القيود الطبيعية في تركيب هذه العناصر البصرية، توجد عدد كبير من الإشارات التي لا يمكن التمييز بينها بصريًا (VISigns) في لغات الإشارة، مما يحد من قدرة الشبكات العصبية البصرية على التعرف عليها. ولتخفيف هذه المشكلة، نقترح إطار عمل معتمد على اللغة الطبيعية للتعرف على لغة الإشارة (NLA-SLR)، والذي يستفيد من المعلومات الدلالية المحتوية في "الغلوسات" (الوسوم الإشارية). أولاً، بالنسبة للإشارات VISigns ذات المعاني الدلالية المشابهة، نقترح تمهيدًا وسومًا واعية باللغة، من خلال إنشاء وسوم ناعمة لكل إشارة تدريبية، حيث تُحسب معاملات التمهيد بناءً على التشابه الدلالي المُعيّن بين الوسوم. ثانيًا، بالنسبة للإشارات VISigns ذات المعاني الدلالية المختلفة، نقدّم تقنية مزج متعددة الوسائط (inter-modality mixup) التي تدمج ميزات البصر والغلوسات لزيادة الفصل بين الإشارات المختلفة تحت إشراف وسوم مدمجة. بالإضافة إلى ذلك، نقدّم أيضًا نموذجًا جديدًا للبنية الأساسية، يُسمى "شبكة المفاتيح الفيديوية"، التي لا تُمكّن من نمذجة مقاطع الفيديو الملونة (RGB) ونقاط المفاتيح البشرية معًا، بل تُستمد أيضًا معرفة من مقاطع الإشارة التي تختلف في مجال الاستجابة الزمنية. من الناحية التجريبية، حقق أسلوبنا أداءً متفوقًا على مستوى الحالة الحالية (state-of-the-art) في ثلاث معايير شائعة الاستخدام: MSASL، WLASL، وNMFs-CSL. يمكن الوصول إلى الشيفرة عبر الرابط: https://github.com/FangyunWei/SLRT.