HyperAIHyperAI

Command Palette

Search for a command to run...

تحقيق التحسين القصوى للمعلومات التبادلية للقراءة الفعالة للشفاه

Xing Zhao Shuang Yang Shiguang Shan Xilin Chen

الملخص

لقد اكتسبت قراءة الشفاه اهتمامًا بحثيًا متزايدًا في السنوات الأخيرة بفضل التطور السريع للتعلم العميق وتطبيقاتها الواسعة المحتملة. ويعتمد أحد النقاط الأساسية لتحقيق أداء جيد في مهمة قراءة الشفاه بشكل كبير على مدى فعالية التمثيل في التقاط معلومات حركة الشفاه، وفي الوقت نفسه، مقاومة الضوضاء الناتجة عن التغيرات في الوضعية، وظروف الإضاءة، وملامح المتكلم، إلخ. من أجل تحقيق هذا الهدف، نقترح إدخال قيود المعلومات التبادلية على كل من مستوى الميزات المحلية ومستوى التسلسل العالمي لتعزيز علاقات الميزات مع محتوى الكلام. من ناحية، نفرض قيدًا لتعظيم المعلومات التبادلية المحلية (LMIM) على مستوى كل خطوة زمنية، مما يضمن أن تمتلك الميزات المنتجة في كل لحظة علاقة قوية بمحتوى الكلام، ما يؤدي إلى تحسين قدرة النموذج على اكتشاف حركات الشفاه الدقيقة، والاختلافات الدقيقة بين الكلمات ذات النطق المشابه، مثل "spend" و"spending". من ناحية أخرى، نُدخل قيدًا لتعظيم المعلومات التبادلية على مستوى التسلسل العالمي (GMIM)، بهدف جعل النموذج قادرًا على التركيز أكثر على الإطارات المميزة المرتبطة بمحتوى الكلام، وتقليل الانتباه إلى الضوضاء المختلفة التي تظهر أثناء التحدث. وبدمج هذين الميزتين معًا، يتوقع أن تكون الطريقة المقترحة مميزة وقوية في قراءة الشفاه بشكل فعال. لتأكيد صحة هذه الطريقة، قمنا بتقييمها على مجموعتين كبيرتين من المعايير المعيارية. وقمنا بتحليل دقيق ومقارنة على عدة جوانب، بما في ذلك مقارنة بين LMIM وGMIM مقابل النموذج الأساسي، وتصور التمثيل المُتعلم، إلخ. وقد أثبتت النتائج فعالية الطريقة المقترحة، كما سجلت أداءً جديدًا على مستوى الحالة الحالية (SOTA) في كلا المجموعتين.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp