FaceXHuBERT: إنشاء رسوم متحركة ثلاثية الأبعاد للوجه تعبر عن المشاعر باستخدام تعلم تمثيل الكلام ذاتي الإشراف

يقدم هذا البحث طريقة توليد الرسوم المتحركة للوجه ثلاثية الأبعاد تعتمد على الكلام دون استخدام النص، وهي تُعرف بـ FaceXHuBERT. هذه الطريقة تسمح بالتقاط الإشارات الشخصية والدقيقة في الكلام (مثل الهوية، العواطف والتردد). كما أنها مقاومة للغاية للضوضاء الخلفية ويمكنها التعامل مع التسجيلات الصوتية في مجموعة متنوعة من الظروف (مثل عدة أشخاص يتحدثون). تستخدم الأساليب الحديثة التعلم العميق من النهاية إلى النهاية، حيث تأخذ في الاعتبار كلًا من الصوت والنص كمدخلات لتوليد الرسوم المتحركة للوجه بأكمله. ومع ذلك، فإن ندرة قواعد البيانات العامة التي تحتوي على تسجيلات صوتية ورسوم متحركة للوجه ثلاثية الأبعاد تعبر عن المشاعر تمثل عقبة رئيسية. لا تزال الرسوم المتحركة الناتجة تعاني من مشكلات فيما يتعلق بدقة تناسق الشفاه، التعبيرية، المعلومات الخاصة بالشخص والقابلية للتعميم. نحن نستخدم بكفاءة نموذج HuBERT المدرب ذاتيًا بشكل مسبق في عملية التدريب، مما يتيح لنا دمج المعلومات الكلامية وغير الكلامية في الصوت دون الحاجة إلى قاموس كبير. بالإضافة إلى ذلك، يساعد إرشاد التدريب بشروط العواطف الثنائية وهوية المتكلم على تمييز الحركات الوجهية الدقيقة جدًا. أجرينا تقييمًا موضوعيًا وذاتيًا شاملاً مقارنة بالأعمال المرجعية وأحدث الأساليب. يظهر دراسة مستخدمين حسّاسة أن نهجنا ينتج نتائج أفضل فيما يتعلق بواقعية الرسوم المتحركة بنسبة 78٪ مقارنة بأحدث الأساليب. بالإضافة إلى ذلك، طريقتنا أسرع بـ 4 مرات من خلال القضاء على استخدام النماذج المتتابعة المعقدة مثل المتحولات (transformers). نوصي بشدة بمشاهدة الفيديو الإضافي قبل قراءة البحث. كما نوفر رموز التنفيذ والتقييم مع رابط مستودع GitHub.