MeshTalk: التحريك ثلاثي الأبعاد للوجه من الكلام باستخدام فصل الوسائط المتعددة

يقدم هذا البحث طريقة عامة لإنشاء الرسوم المتحركة ثلاثية الأبعاد للوجه من خلال الكلام. تظهر النماذج الحالية لرسوم المتحركة الوجهية المدعومة بالصوت نتائج غير طبيعية أو ثابتة في الجزء العلوي من الوجه، فشلت في إنتاج التآزر الدقيق والمعقول أو تعتمد على نماذج محددة للشخص الواحد مما يحد من قابليتها للتوسع. لتحسين هذه النماذج، نقترح نهجًا عامًا مدعومًا بالصوت لإنشاء نتائج حركية واقعية للغاية لجميع أجزاء الوجه. في صميم نهجنا يوجد فضاء خفي تصنيفى لرسوم المتحركة الوجهية يفصل المعلومات المرتبطة بالصوت والمعلومات غير المرتبطة بالصوت بناءً على خسارة متعددة الوسائط جديدة (cross-modality loss). يضمن نهجنا دقة عالية في حركة الشفتين، بينما يقوم أيضًا بإنشاء رسوم متحركة معقولة للأجزاء الأخرى من الوجه التي لا ترتبط بـ إشارة الصوت، مثل رمش العيون وحركة الحاجبين. نوضح أن نهجنا يتفوق على عدة نقاط مرجعية ويحقق جودة رائدة في مجاله سواءً بشكل كمي أو نوعي. أظهرت دراسة استقصائية للمستخدمين أن نهجنا يعتبر أكثر واقعية من أفضل التقنيات الحالية في أكثر من 75٪ من الحالات. ننصحي بمشاهدة الفيديو الإضافي قبل قراءة البحث:https://github.com/facebookresearch/meshtalk