التعرف المستمر على لغة الإشارة باستخدام شبكة الارتباط

تمثّل مسارات جسم الإنسان مؤشرًا بارزًا لتحديد الأفعال في الفيديو. وغالبًا ما تُنقل هذه المسارات عبر الإشارات الحركية بواسطة اليدين والوجه عبر الإطارات المتتالية. ومع ذلك، فإن الطرق الحالية في التعرف على الإشارات المستمرة (CSLR) تقوم عادة بمعالجة الإطارات بشكل منفصل، مما يؤدي إلى فشلها في التقاط المسارات عبر الإطارات لتحديد الإشارة بشكل فعّال. ولحل هذه القيود، نقترح شبكة الارتباط (CorrNet) لالتقاط وتمكين استخدام مسارات الجسم عبر الإطارات بشكل صريح لتحديد الإشارات. بشكل محدد، نُقدّم وحدة ارتباط لحساب خرائط الارتباط الديناميكية بين الإطار الحالي والإطارات المجاورة، بهدف تحديد مسارات جميع المناطق المكانية. ثم نُقدّم وحدة تحديد لتعزيز الديناميكية للمسارات الحركية للجسم ضمن هذه الخرائط. وبذلك، تصبح الميزات الناتجة قادرة على الحصول على صورة شاملة للحركات الزمنية المحلية لتحديد الإشارة. وبفضل تركيزها الخاص على مسارات الجسم، تحقق CorrNet دقة جديدة قياسية على أربع مجموعات بيانات كبيرة، وهي: PHOENIX14 وPHOENIX14-T وCSL-Daily وCSL. وتشير المقارنة الشاملة مع الطرق السابقة القائمة على التفكير المكاني-الزمني إلى فعالية CorrNet. كما تُظهر التصويرات البصرية تأثير CorrNet في تعزيز مسارات الجسم البشرية عبر الإطارات المجاورة.