HyperAIHyperAI

Command Palette

Search for a command to run...

شبكة ذات تدفقين تعتمد على التدفق الانزلاقي للقراءة الشفوية

Jingyun Xiao Shuang Yang Yuanhang Zhang Shiguang Shan Xilin Chen

الملخص

يُعدّ قراءة الشفاه مهمة التعرف على محتوى الكلام من خلال تحليل الحركات في منطقة الشفاه أثناء التحدث. وبمراعاة الاستمرارية بين الإطارات المجاورة أثناء عملية التحدث، والتوازي في أنماط الحركة بين مختلف الأشخاص عند نطق نفس الصوت، نُمَثّل حركات الشفاه أثناء التحدث كسلسلة من التشوهات الظاهرية في منطقة الشفاه. وبشكل خاص، نُقدّم شبكة تدفق التشوه (DFN) لتعلم تدفق التشوه بين الإطارات المجاورة، والذي يُمكّن من التقاط معلومات الحركة داخل منطقة الشفاه بشكل مباشر. ثم يتم دمج تدفق التشوه المُتعلم مع الإطارات الرمادية الأصلية باستخدام شبكة ثنائية المسار لتنفيذ قراءة الشفاه. وخلافًا للشبكات الثنائية المسار السابقة، نجعل المسارين يتعلمان من بعضهما البعض خلال عملية التدريب من خلال إدخال خسارة استخلاص المعرفة ثنائية الاتجاه، مما يسمح بتدريب الفروع الثنائية معًا بشكل مشترك. وبفضل الإشارات المكملة التي توفرها الفروع المختلفة، تُظهر الشبكة الثنائية المسار تحسنًا كبيرًا مقارنةً باستخدام أي فرع منفرد. وتم تقديم تقييم تجريبي شامِل على معيارين كبيرين لقراءة الشفاه، مع تحليل مفصل للنتائج. وتتوافق النتائج مع دافعنا، وتكشف أن طريقتنا تحقق أداءً متقدمًا أو مماثلًا لأفضل الأداءات على هذين المجموعتين الصعبتين.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
شبكة ذات تدفقين تعتمد على التدفق الانزلاقي للقراءة الشفوية | مستندات | HyperAI