شبكة متعددة المفاتيح الزمانية-المكانية للتعرف المستمر على لغة الإشارة

على الرغم من النجاح الأخير للتعلم العميق في التعرف على لغة الإشارة المستمرة (CSLR)، فإن النماذج العميقة تميل عادةً إلى التركيز على الميزات الأكثر تمييزًا، بينما تتجاهل المحتويات الأخرى التي قد تكون غير بديهية ولكنها مفيدة. ويؤثر هذا السمة بشكل كبير على قدرتها على تعلّم القواعد البصرية الضمنية الكامنة وراء تعاون مختلف المؤشرات البصرية (مثل شكل اليد، التعبير الوجهي، وضعية الجسم). وبإدخال تعلم متعدد المؤشرات في تصميم الشبكات العصبية، نقترح شبكة زمنية-مكانية متعددة المؤشرات (STMC) لحل مشكلة التعلّم التسلسلي القائمة على الرؤية. تتكوّن شبكة STMC من وحدة مكانية متعددة المؤشرات (SMC) ووحدة زمنية متعددة المؤشرات (TMC). وتُعنى الوحدة SMC بالتمثيل المكاني، وتحلل بشكل صريح الميزات البصرية الخاصة بكل مؤشر بمساعدة فرع مستقل لتقدير الوضعية. أما الوحدة TMC، فتُنمذج الترابطات الزمنية عبر طريقتين متوازيتين: داخل المؤشر وخارج المؤشر، بهدف الحفاظ على الفريدية واستكشاف التعاون بين عدة مؤشرات. وأخيرًا، صممنا استراتيجية تحسين مشتركة لتحقيق التعلّم التسلسلي من البداية إلى النهاية في شبكة STMC. ولإثبات الفعالية، أجرينا تجارب على ثلاث معايير كبيرة لـ CSLR: PHOENIX-2014 وCSL وPHOENIX-2014-T. وأظهرت النتائج التجريبية أن الطريقة المقترحة تحقق أداءً جديدًا على مستوى الحد الأقصى (state-of-the-art) في جميع المعايير الثلاثة.