HyperAIHyperAI
منذ 11 أيام

CharacterShot: رسم متحرك قابل للتحكم ومتسق للشخصية الأربعة الأبعاد

Junyao Gao, Jiaxing Li, Wenran Liu, Yanhong Zeng, Fei Shen, Kai Chen, Yanan Sun, Cairong Zhao
CharacterShot: رسم متحرك قابل للتحكم ومتسق للشخصية الأربعة الأبعاد
الملخص

في هذا البحث، نقترح إطار عمل \textbf{CharacterShot} لترميز شخصيات ثلاثية الأبعاد ديناميكية (أي توليد حركة شخصية أربعة أبعاد) قابلة للتحكم وثابتة، يمكّن أي مصمم من إنشاء شخصيات ثلاثية الأبعاد ديناميكية من صورة مرجعية واحدة للشخصية وسلسلة من الوضعيات ثنائية الأبعاد. نبدأ بتدريب مسبق لنموذج قوي لحركة الشخصية ثنائية الأبعاد، مبني على نموذج حديث من نوع DiT يحول الصور إلى مقاطع فيديو، مما يسمح باستخدام أي سلسلة من الوضعيات ثنائية الأبعاد كإشارة تحكمية. ثم نرفع هذا النموذج من ثنائية الأبعاد إلى ثلاثية الأبعاد من خلال إدخال وحدة الانتباه المزدوجة مع استخدام معلومات مسبقة عن الكاميرا، لإنتاج مقاطع فيديو متعددة الزوايا مع الحفاظ على الاتساق الزماني-المكاني والاتساق الزاوي-المكاني. في المرحلة النهائية، نستخدم طريقة تحسين مبتكرة تعتمد على قيود الجيران (neighbor-constrained) في إطار تمثيل 4D باستخدام "النثر الغاوسي" (gaussian splatting) على هذه المقاطع متعددة الزوايا، مما يؤدي إلى تمثيلات 4D مستمرة ومستقرة للشخصيات. علاوةً على ذلك، لتحسين الأداء المركّز حول الشخصية، قمنا بإنشاء مجموعة بيانات كبيرة بعنوان \textbf{Character4D}، تتضمن 13,115 شخصية فريدة من نوعها، تختلف في المظهر والحركة، وتم عرضها من زوايا متعددة. أظهرت التجارب الواسعة التي أجريت على معيارنا الجديد المُنشأ، \textbf{CharacterBench}، أن منهجنا يتفوق على أحدث الطرق المطورة حاليًا. ستُتاح الكود البرمجي، النماذج، والبيانات للجمهور عبر الرابط التالي: https://github.com/Jeoyal/CharacterShot.