شبكة ذات تدفقين تعتمد على التدفق الانزلاقي للقراءة الشفوية

يُعدّ قراءة الشفاه مهمة التعرف على محتوى الكلام من خلال تحليل الحركات في منطقة الشفاه أثناء التحدث. وبمراعاة الاستمرارية بين الإطارات المجاورة أثناء عملية التحدث، والتوازي في أنماط الحركة بين مختلف الأشخاص عند نطق نفس الصوت، نُمَثّل حركات الشفاه أثناء التحدث كسلسلة من التشوهات الظاهرية في منطقة الشفاه. وبشكل خاص، نُقدّم شبكة تدفق التشوه (DFN) لتعلم تدفق التشوه بين الإطارات المجاورة، والذي يُمكّن من التقاط معلومات الحركة داخل منطقة الشفاه بشكل مباشر. ثم يتم دمج تدفق التشوه المُتعلم مع الإطارات الرمادية الأصلية باستخدام شبكة ثنائية المسار لتنفيذ قراءة الشفاه. وخلافًا للشبكات الثنائية المسار السابقة، نجعل المسارين يتعلمان من بعضهما البعض خلال عملية التدريب من خلال إدخال خسارة استخلاص المعرفة ثنائية الاتجاه، مما يسمح بتدريب الفروع الثنائية معًا بشكل مشترك. وبفضل الإشارات المكملة التي توفرها الفروع المختلفة، تُظهر الشبكة الثنائية المسار تحسنًا كبيرًا مقارنةً باستخدام أي فرع منفرد. وتم تقديم تقييم تجريبي شامِل على معيارين كبيرين لقراءة الشفاه، مع تحليل مفصل للنتائج. وتتوافق النتائج مع دافعنا، وتكشف أن طريقتنا تحقق أداءً متقدمًا أو مماثلًا لأفضل الأداءات على هذين المجموعتين الصعبتين.