تقنية التحريك ثلاثي الأبعاد للوجه بقيادة الكلام، وتوسيع تطبيقاتها إلى مجالات متعددة الوسائط. أظهرت البحوث السابقة نتائجًا واعدة في إنتاج حركات شفاه وتعبيرات وجهية واقعية من الإشارات الصوتية. ومع ذلك، فإن النماذج الانحدارية التقليدية التي تعتمد بشكل كامل على البيانات تواجه عدة مشاكل أساسية، مثل صعوبة الوصول إلى التسميات الدقيقة والتفاوت بين المجالات المختلفة (المناظر) مما يؤدي إلى نتائج غير مرضية تفتقر إلى الدقة والتناسق.لتحسين الدقة البصرية لحركات الشفاه المولدة وتقليل الاعتماد على البيانات المسمّاة، نقترح إطارًا جديدًا يُدعى SelfTalk، من خلال دمج الرقابة الذاتية في نظام شبكات متعدد الوسائط لتعلم الوجوه المتحدثة ثلاثية الأبعاد. يتكون الإطار من نظام شبكة يتضمن ثلاثة وحدات: مُحرك الوجه، ومعرف الكلام، ومترجم قراءة الشفاه. جوهر SelfTalk هو رسم بياني للتدريب المتبادل يسهل تبادل الخصائص المتوافقة بين الصوت والنص وشكل الشفاه، مما يمكن نماذجنا من تعلم العلاقة المعقدة بين هذه العوامل. يستفيد الإطار المقترح من المعرفة المستنبطة من مترجم قراءة الشفاه لإنتاج أشكال شفاه أكثر مصداقية.أثبتت التجارب الواسعة والدراسات المستخدمين أن نهجنا المقترح حقق أفضل الأداء على مستوى الحالة الراهنة للمعرفة (state-of-the-art) سواءً على المستوى النوعي أو الكمي. نوصي بمشاهدة الفيديو الملحق.