الملخص

نقدم "وَان-أنِيمِيت" (Wan-Animate)، وهي إطار موحد لترميز الحركة الشخصية وتغيير الشخصية. بالاعتماد على صورة شخصية وفيديو مرجعي، يمكن 통ّان-أنِيمِيت توليد حركة للشخصية من خلال نسخ التعبيرات والحركة بدقة من الفيديو المرجعي، مما ينتج مقاطع فيديو عالية الدقة للشخصية. وبديلًا لذلك، يمكنه دمج الشخصية المتحركة في الفيديو المرجعي لاستبدال الشخصية الأصلية، مع إعادة إنتاج إضاءة المشهد ونبرة الألوان لضمان دمج سلس مع البيئة المحيطة. تم بناء "وَان-أنِيمِيت" على نموذج "وَان" (Wan). ولتكييفه لأداء مهام ترميز الحركة الشخصية، نستخدم نموذجًا معدّلًا للمدخلات يميّز بين الشروط المرجعية ومناطق التوليد. ويساهم هذا التصميم في دمج مهام متعددة ضمن تمثيل رمزي موحد. ونستخدم إشارات الهيكل العظمي المُحاذاة مكانيًا لتكرار حركة الجسم، بالإضافة إلى ميزات وجهية ضمنية مستخرجة من الصور المصدرية لإعادة تمثيل التعبيرات، مما يمكّن من إنتاج مقاطع فيديو شخصية ذات تحكم عالٍ وتعبيرات غنية. علاوةً على ذلك، لتعزيز التكامل البيئي أثناء استبدال الشخصية، طوّرنا وحدة مساعدة تُسمى "Relighting LoRA". وتُحافظ هذه الوحدة على اتساق مظهر الشخصية أثناء تطبيق الإضاءة واللون المناسبين للبيئة المحيطة. وأظهرت النتائج التجريبية أن "وَان-أنِيمِيت" تحقق أداءً متميزًا على مستوى الحد الأقصى (state-of-the-art). ونحن ملتزمون بالإفصاح المفتوح عن أوزان النموذج وشفرته المصدرية.