السياق مهم: الانتباه الذاتي لتمييز لغة الإشارة

تقدم هذه الورقة نموذجًا شبكيًا يعتمد على آلية الانتباه للمهمة المتعلقة بالتعرف على لغة الإشارة المستمرة. يستخدم النهج المقترح تدفقات بيانات مستقلة بشكل متبادل لتمثيل الوسائط المستخدمة في لغة الإشارة. يمكن لهذه القنوات المختلفة للمعلومات مشاركة بنية زمنية معقدة فيما بينها. ولذلك، نطبق آلية الانتباه لتمكين المزامنة ومساعدة التقاط الاعتماديات المتشابكة بين مكونات لغة الإشارة المختلفة. وعلى الرغم من أن لغة الإشارة متعددة القنوات، فإن أشكال الأصابع تمثل الكيانات الأساسية في تفسير الإشارات. فتحديد أشكال الأصابع في سياقها الصحيح هو ما يحدد معنى الإشارة. وبأخذ ذلك بعين الاعتبار، نستخدم آلية الانتباه لجمع ميزات الأصابع بشكل فعّال مع السياق الزماني المكاني المناسب لها، مما يؤدي إلى تحسين دقة التعرف على الإشارات. وجدنا أن النموذج، من خلال هذا التحول، قادر على تحديد المكونات الأساسية في لغة الإشارة التي تدور حول اليد المهيمنة ومنطقة الوجه. وقد تم اختبار النموذج على مجموعة البيانات القياسية RWTH-PHOENIX-Weather 2014، حيث أظهر نتائج تنافسية.