Jianwen Jiang Weihong Zeng Zerong Zheng Jiaqi Yang Chao Liang Wang Liao Han Liang Yuan Zhang Mingyuan Gao

الملخص

تمكّن النماذج الحالية للصورة الحية من إنتاج حركات بشرية سلسة، لكنها تواجه صعوبة في التحول من التشابه المادي البسيط إلى التقاط الجوهر الحقيقي للشخصية. وغالبًا ما تتماشى حركاتها مع مؤشرات منخفضة المستوى مثل إيقاع الصوت، دون امتلاك فهمٍ أعمق للعاطفة أو النية أو السياق. ولسد هذا الفجوة، نقترح إطارًا مصممًا لإنشاء حركات شخصية لا تكون ممكنة فعليًا فحسب، بل أيضًا متسقة من حيث المعنى وغنية بالتعبير. يعتمد نموذجنا، OmniHuman-1.5، على مساهمتين تقنيتين رئيسيتين. أولاً، نستفيد من نماذج اللغة الكبيرة متعددة الوسائط (Multimodal Large Language Models) لاستخلاص تمثيل نصي منظم للظروف، يوفر توجيهًا معنويًا عالي المستوى. ويُوجِّه هذا التوجيه مُولِّد الحركة لتجاوز التزامن الإيقاعي البسيط، مما يمكّن من إنتاج حركات متماشية مع السياق والعاطفة. ثانيًا، لضمان دمج فعّال لهذه المدخلات متعددة الوسائط وتقليل التعارضات بين الوسائط المختلفة، نقدّم معمارية DiT متعددة الوسائط مخصصة، تتميز بتصميم جديد يُعرف بـ "الإطار الظاهري الأخير" (Pseudo Last Frame). ونتيجة التآزر بين هذه المكونات، يُمكن لنموذجنا فهم دقيق للدلالات المشتركة بين الصوت والصورة والنص، مما يؤدي إلى إنتاج حركات متماسكة بعمق مع الشخصية والمشهد والمحتوى اللغوي. تُظهر التجارب الواسعة أن نموذجنا يحقق أداءً متميزًا في مجموعة شاملة من المقاييس، بما في ذلك دقة التزامن الشفهي، وجودة الفيديو، وطبيعة الحركة، والاتساق المعنوي مع الأوامر النصية. علاوةً على ذلك، يُظهر نهجنا قابلية توسيع ملحوظة في السيناريوهات المعقدة، مثل تلك التي تتضمن أشخاصًا متعددين أو كائنات غير بشرية.الموقع الرسمي: https://omnihuman-lab.github.io/v1_5/