هل يمكننا قراءة الكلام أبعد من الشفاه؟ إعادة التفكير في اختيار منطقة الاهتمام للاعتراف البصري بالكلام العميق

أدى التقدم الأخير في التعلم العميق إلى زيادة الاهتمام بين الباحثين في مجال التعرف على الكلام البصري (VSR). في الوقت الراهن، يُعاد تفسير VSR غالبًا على أنه قراءة شفوية تلقائية، والتي تحاول التعرف على الكلام من خلال تحليل حركة الشفاه. ومع ذلك، تشير التجربة البشرية والدراسات النفسية إلى أننا لا نركز دائمًا نظرنا على شفاه الآخرين أثناء المحادثة الوجهية، بل نستعرض الوجه بالكامل بشكل متكرر. وهذا يُلهمنا لإعادة النظر في مسألة أساسية لكنها أحيانًا تُهمل: هل يمكن لنموذج التعرف على الكلام البصري أن يستفيد من قراءة مناطق الوجه الخارجة عن الشفاه، أي ما وراء الشفاه؟ في هذه الورقة، نُجري دراسة شاملة لتقييم تأثير مناطق الوجه المختلفة باستخدام نماذج VSR الحديثة، بما في ذلك الفم، والوجه الكامل، والجزء العلوي من الوجه، وحتى الخدود. تُجرى التجارب على معايير على مستوى الكلمة وعلى مستوى الجملة، بخصائص مختلفة. ونجد أن، رغم التغيرات المعقدة في البيانات، فإن دمج المعلومات من مناطق الوجه الخارجة عن الشفاه، حتى الجزء العلوي من الوجه، يُحقق فائدة مستمرة في أداء التعرف على الكلام البصري. علاوةً على ذلك، نُقدّم طريقة بسيطة ولكنها فعالة تعتمد على تقنية Cutout لتعلم ميزات أكثر تمييزًا للنماذج القائمة على الوجه، بهدف استغلال أقصى قدر من المعلومات المُشفرة في مناطق الوجه المختلفة. تُظهر تجاربنا تحسينات واضحة مقارنة بالطرق الحديثة التي تستخدم فقط منطقة الشفاه كمدخلات، ونعتقد أن هذا النتيجة قد تُقدّم للمجتمع البحثي في مجال VSR رؤى جديدة ومثيرة.