MotionDiffuse: توليد الحركة البشرية المُوجهة بالنص باستخدام نموذج التفتيت

نمذجة حركة الإنسان مهمة لعدد كبير من التطبيقات الرسومية الحديثة، والتي تتطلب عادةً مهارات احترافية. وبهدف إزالة الحواجز المهارية أمام المستخدمين العاديين، ظهرت طرق حديثة لإنشاء الحركات يمكنها إنشاء حركات بشرية مباشرة بناءً على لغة طبيعية. ومع ذلك، لا يزال من الصعب تحقيق إنشاء حركات متنوعة ودقيقة مع مجموعة متنوعة من المدخلات النصية. لحل هذه المشكلة، نقترح "MotionDiffuse"، وهي أول إطار عمل لإنشاء الحركات القائم على نموذج التبديد (diffusion) ويعتمد على النص، والذي يُظهر عدة خصائص مرغوبة مقارنة بالطرق الحالية. 1) التمثيل الاحتمالي: بخلاف التمثيل الثابت بين اللغة والحركة، يُولِّد MotionDiffuse الحركات من خلال سلسلة من خطوات إزالة الضوضاء، حيث يتم إدخال تغيرات في كل خطوة. 2) التوليد الواقعية: يتميز MotionDiffuse بقدرته العالية على نمذجة التوزيع المعقد للبيانات وإنتاج تسلسلات حركية حية وواقعية. 3) التلاعب على مستويات متعددة: يستجيب MotionDiffuse لتعليمات دقيقة حول أجزاء معينة من الجسم، كما يدعم إنشاء حركات بطول متغير مع تغيرات في النصوص المُدخلة عبر الزمن. تُظهر التجارب أن MotionDiffuse يتفوق على الطرق الرائدة (SoTA) الحالية بفارق ملحوظ في مهام إنشاء الحركات المُوجهة بالنص، وكذلك في مهام إنشاء الحركات المُوجهة بالفعل. كما يُظهر تحليل كمي إضافي قدرة MotionDiffuse على التحكم الشامل في إنشاء الحركات. الصفحة الرئيسية: https://mingyuan-zhang.github.io/projects/MotionDiffuse.html