HyperAI
منذ 15 أيام

AnimaX: تنشيط الأجسام غير الحية في ثلاثية الأبعاد باستخدام نماذج التوسع المشتركة بين الفيديو والوضعية

Zehuan Huang, Haoran Feng, Yangtian Sun, Yuanchen Guo, Yanpei Cao, Lu Sheng
AnimaX: تنشيط الأجسام غير الحية في ثلاثية الأبعاد باستخدام نماذج التوسع المشتركة بين الفيديو والوضعية
الملخص

نقدم AnimaX، وهو إطار تغذية تقدمية للرسوم المتحركة ثلاثية الأبعاد يربط بين نماذج الانتشار الفيديو وبنية الرسوم المتحركة المستندة إلى الهيكل العظمي القابلة للتحكم. طرق التركيب الحركي التقليدية إما مقيدة بالبنى العظمية الثابتة أو تتطلب تحسينًا مكلفًا في فضاءات التشوه ذات الأبعاد العالية. بخلاف ذلك، ينقل AnimaX المعرفة الحركية القائمة على الفيديو بشكل فعال إلى المجال الثلاثي الأبعاد، مما يدعم الشبكات المرتبطة المتنوعة ذات الهياكل العظمية المتغيرة. يمثل أسلوبنا الحركة ثلاثية الأبعاد كخرائط وضع ثنائية الأبعاد متعددة الزوايا والصور، ويتيح انتشار الفيديو-الوضع المشترك المشروط برسم النموذج الأولي والموجه النصي للحركة. نقدم الترميزات الموضعية المشتركة والدمج الواعي بالوسائط لضمان التناسق الزماني-المكاني بين سلاسل الفيديو والوضع، مما يؤدي بنجاح إلى نقل نماذج الفيديو إلى مهمة توليد الحركة. يتمثل النتاج النهائي في سلاسل وضع متعددة الزوايا يتم تحويلها إلى مراكز مفصلية ثلاثية الأبعاد عبر التثليث، ومن ثم تحويلها إلى رسوم متحركة للشبكة من خلال الكينماتيكا العكسية (Inverse Kinematics). تم تدريب AnimaX على مجموعة بيانات جديدة تم جمعها تحتوي على 160,000 سلسلة مشدودة (rigged sequences)، حيث حقق AnimaX أفضل النتائج في VBench فيما يتعلق بالمرونة وتوفيق الحركة وكفاءتها، مما يقدم حلًا قابلاً للتوسع لرسوم متحركة ثلاثية الأبعاد لا تعتمد على فئة معينة.صفحة المشروع: https://anima-x.github.io/{https://anima-x.github.io/}.