شبكة SlowFast لل erk reconocimiento المستمر لغة الإشارة

يهدف هذا العمل إلى استخلاص فعّال للميزات المكانية والديناميكية لتمييز لغة الإشارة المستمرة (CSLR). ولتحقيق ذلك، نستخدم شبكة SlowFast ذات طريقتين، حيث تعمل كل طريقتين بمقاييس زمنية مختلفة لالتقاط المعلومات المكانية (أشكال اليدين، التعبيرات الوجهية) والديناميكية (الحركات) بشكل منفصل. بالإضافة إلى ذلك، نقدم طريقتين مختلفتين لدمج الميزات، مصممتين بدقة وفقًا للخصائص المميزة لـ CSLR: (1) دمج الميزات ثنائي الاتجاه (BFF)، الذي يُسهّل نقل المعاني الديناميكية إلى المعاني المكانية والعكس؛ و(2) تحسين ميزات المسارات (PFE)، الذي يُثري التمثيلات المكانية والديناميكية من خلال شبكات فرعية مساعدة، مع تجنّب الحاجة إلى وقت إضافي للاستنتاج. وبذلك، يُعزز نموذجنا تمثيلات الميزات المكانية والديناميكية بشكل متوازٍ. ونُظهر أن الإطار المُقترح يتفوّق على أداء أحدث النماذج الحالية على مجموعات بيانات CSLR الشهيرة، بما في ذلك PHOENIX14 وPHOENIX14-T وCSL-Daily.