HyperAIHyperAI

Command Palette

Search for a command to run...

FaceDiffuser: إنشاء الرسوم المتحركة ثلاثية الأبعاد للوجه باستخدام التوهج

Stefan Stan Kazi Injamamul Haque Zerrin Yumak

الملخص

إن إنشاء الرسوم المتحركة ثلاثية الأبعاد للوجه بقيادة الكلام كان مهمة صعبة في الصناعة والبحث على حد سواء. تركز الأساليب الحديثة بشكل أساسي على طرق التعلم العميق الحتمية، مما يعني أن الناتج سيكون دائمًا متطابقًا عند تقديم مدخلات كلامية معينة. ومع ذلك، في الواقع، فإن الإشارات الوجهية غير اللفظية المنتشرة في جميع أنحاء الوجه هي بطبيعتها غير حتمية. بالإضافة إلى ذلك، يركز معظم النهج على مجموعات البيانات المستندة إلى رؤوس ثلاثية الأبعاد (3D vertex)، وقليل جدًا منها يتوافق مع خطوط الأنimation الوجهية القائمة باستخدام الشخصيات المجهزة بالعظام المتحركة (rigged characters). لحل هذه المشكلات، نقدم FaceDiffuser، وهو نموذج تعلم عميق غير حتمي لإنشاء الرسوم المتحركة للوجه بقيادة الكلام، وقد تم تدريبه باستخدام كل من مجموعات البيانات المستندة إلى رؤوس ثلاثية الأبعاد (3D vertex) ومجموعات البيانات المستندة إلى أشكال التداخل (blendshape). تعتمد طريقتنا على تقنية التفتيت (diffusion) وتستخدم نموذج HuBERT المُدرب مسبقًا للتمثيل الكبير للكلام لترميز المدخل السمعي. وفيما نعلم، نحن أول من يستخدم طريقة التفتيت لهذا الغرض في إنشاء الرسوم المتحركة ثلاثية الأبعاد للوجه بقيادة الكلام. قمنا بإجراء تحليلات موضوعية وذاتية شاملة وأظهرنا أن طريقتنا تحقق نتائج أفضل أو مماثلة مقارنة بأحدث الأساليب. كما نقدم مجموعة بيانات جديدة داخلية مستندة إلى شخصيات مجهزة بالعظام المتحركة باستخدام أشكال التداخل (blendshape). نوصي بمتابعة الفيديو المرفق الإضافي. سيتم توفير الكود ومجموعة البيانات بشكل عام.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
FaceDiffuser: إنشاء الرسوم المتحركة ثلاثية الأبعاد للوجه باستخدام التوهج | مستندات | HyperAI