MotionLCM: توليد حركة قابلة للتحكم في الزمن الفعلي من خلال نموذج الاتساق اللاتيني

يُقدّم هذا العمل MotionLCM، الذي يوسع إمكانية توليد الحركة القابلة للتحكم إلى مستوى الوقت الفعلي. تعاني الطرق الحالية للتحكم المكاني في توليد الحركة المشروطة بالنص من كفاءة تشغيلية منخفضة بشكل كبير. ولحل هذه المشكلة، نُقدّم أولًا نموذج الاتساق في الفضاء الخفي للحركة (MotionLCM) لتوليد الحركة، مبنيًا على نموذج التشتت في الفضاء الخفي (MLD). وباستخدام استنتاج واحد (أو بضع خطوات)، نُحسّن بشكل إضافي كفاءة وقت التشغيل لنموذج التشتت في الفضاء الخفي للحركة في توليد الحركة. ولضمان كفاءة التحكم الفعّالة، ندمج شبكة التحكم (Motion ControlNet) داخل الفضاء الخفي لـ MotionLCM، ونُمكّن إشارات تحكم صريحة (مثل مسار الحوض) في الفضاء القياسي للحركة للتحكم مباشرة في عملية التوليد، تمامًا كما يتم التحكم في النماذج الأخرى المبنية على التشتت دون استخدام فضاء خفي لتوليد الحركة. وباستخدام هذه التقنيات، يمكن لنهجنا توليد حركات إنسانية باستخدام النص وإشارات التحكم في الوقت الفعلي. تُظهر النتائج التجريبية القدرة المميزة على التوليد والتحكم لنموذج MotionLCM مع الحفاظ على كفاءة زمنية تشغيلية في الوقت الفعلي.