تحسين التعرف على لغة الإشارة البرازيلية من خلال تمثيل الصورة العظمية

يُعد التواصل الفعّال أمرًا بالغ الأهمية لدمج الأشخاص الصمّ في المجتمع. ومع ذلك، تُشكل الحواجز المستمرة في التواصل، الناتجة عن محدودية معرفة لغة الإشارة (SL)، عائقًا أمام مشاركتهم الكاملة. في هذا السياق، تم تطوير أنظمة تمييز لغة الإشارة (SLR) لتحسين التواصل بين المُشِيرين وغير المشِيرين. وبخاصة، تبرز مشكلة تمييز الإشارات المنفصلة (ISLR) باعتبارها مسألة ذات أهمية كبيرة في تطوير محركات بحث قائمة على الرؤية، وأدوات تعليمية، وأنظمة ترجمة تعتمد على لغة الإشارة. وتقترح هذه الدراسة منهجية لتمييز الإشارات المنفصلة (ISLR) تقوم على استخلاص نقاط مميزة للجسم واليدين والوجه على مدار الزمن، ثم ترميزها كصور ثنائية الأبعاد. وتُعالج هذه الصور باستخدام شبكة عصبية تلافيفية (CNN)، التي تقوم بتحويل المعلومات البصرية-الزمنية إلى علامة إشارة. وأظهرت النتائج التجريبية أن منهجيتنا تتفوق على أفضل الأداءات الحالية من حيث مقاييس الأداء على مجموعتين بيانات شهيرتين في لغة الإشارة البرازيلية (LIBRAS)، وهي التركيز الأساسي لهذه الدراسة. وبالإضافة إلى دقة أعلى، فإن منهجيتنا أكثر كفاءة من حيث الوقت وأسهل في التدريب، وذلك بفضل استخدامها لبنية شبكة أبسط واعتمادها فقط على بيانات RGB كمدخلات.