تحقيق التحسين القصوى للمعلومات التبادلية للقراءة الفعالة للشفاه

لقد اكتسبت قراءة الشفاه اهتمامًا بحثيًا متزايدًا في السنوات الأخيرة بفضل التطور السريع للتعلم العميق وتطبيقاتها الواسعة المحتملة. ويعتمد أحد النقاط الأساسية لتحقيق أداء جيد في مهمة قراءة الشفاه بشكل كبير على مدى فعالية التمثيل في التقاط معلومات حركة الشفاه، وفي الوقت نفسه، مقاومة الضوضاء الناتجة عن التغيرات في الوضعية، وظروف الإضاءة، وملامح المتكلم، إلخ. من أجل تحقيق هذا الهدف، نقترح إدخال قيود المعلومات التبادلية على كل من مستوى الميزات المحلية ومستوى التسلسل العالمي لتعزيز علاقات الميزات مع محتوى الكلام. من ناحية، نفرض قيدًا لتعظيم المعلومات التبادلية المحلية (LMIM) على مستوى كل خطوة زمنية، مما يضمن أن تمتلك الميزات المنتجة في كل لحظة علاقة قوية بمحتوى الكلام، ما يؤدي إلى تحسين قدرة النموذج على اكتشاف حركات الشفاه الدقيقة، والاختلافات الدقيقة بين الكلمات ذات النطق المشابه، مثل "spend" و"spending". من ناحية أخرى، نُدخل قيدًا لتعظيم المعلومات التبادلية على مستوى التسلسل العالمي (GMIM)، بهدف جعل النموذج قادرًا على التركيز أكثر على الإطارات المميزة المرتبطة بمحتوى الكلام، وتقليل الانتباه إلى الضوضاء المختلفة التي تظهر أثناء التحدث. وبدمج هذين الميزتين معًا، يتوقع أن تكون الطريقة المقترحة مميزة وقوية في قراءة الشفاه بشكل فعال. لتأكيد صحة هذه الطريقة، قمنا بتقييمها على مجموعتين كبيرتين من المعايير المعيارية. وقمنا بتحليل دقيق ومقارنة على عدة جوانب، بما في ذلك مقارنة بين LMIM وGMIM مقابل النموذج الأساسي، وتصور التمثيل المُتعلم، إلخ. وقد أثبتت النتائج فعالية الطريقة المقترحة، كما سجلت أداءً جديدًا على مستوى الحالة الحالية (SOTA) في كلا المجموعتين.