HyperAIHyperAI
منذ 2 أشهر

الإنسان ثلاثي الأبعاد الموجه بالنص من مجموعات ثنائية الأبعاد

Tsu-Jui Fu; Wenhan Xiong; Yixin Nie; Jingyu Liu; Barlas Oğuz; William Yang Wang
الإنسان ثلاثي الأبعاد الموجه بالنص من مجموعات ثنائية الأبعاد
الملخص

تم استخدام نمذجة الإنسان ثلاثية الأبعاد على نطاق واسع لتحقيق التفاعل الجذاب في الألعاب والسينما والرسوم المتحركة. تعتبر تخصيص هذه الشخصيات ضرورية للإبداع والقابلية للتوسع، مما يؤكد أهمية القابلية للتحكم. في هذا العمل، نقدم تقنية توليد الإنسان ثلاثي الأبعاد الموجه بالنص (\texttt{T3H})، حيث يتم إنشاء إنسان ثلاثي الأبعاد بمساعدة وصف الموضة. هناك هدفان: 1) يجب أن يتم تصوير الإنسان الثلاثي الأبعاد بشكل واضح ومفصل، و2) يجب أن يتم التحكم في ملابسه من خلال النص المعطى. لمعالجة مهمة \texttt{T3H} هذه، نقترح تقنية الإنسان المركب عبر الوسائط المتعددة (CCH). تعتمد CCH على الانتباه عبر الوسائط المتعددة لدمج الرسم المركب للإنسان مع الدلالات الموضة المستخرجة. كل جزء من جسم الإنسان يستشعر الإرشادات النصية ذات الصلة كأنماط بصرية له. نقوم بتضمين الأولويات البشرية والتمييز الدلالي لتعزيز تحويل الهندسة ثلاثية الأبعاد والاتساق الدقيق، مما يمكنها من التعلم من مجموعات ثنائية الأبعاد لتحقيق كفاءة البيانات. نجري تقييمات على DeepFashion وSHHQ باستخدام خصائص متنوعة للموضة تغطي شكل الملابس والعناصر النسيجية والألوان للأعلى والسفل. تظهر التجارب الشاملة أن CCH تحقق نتائج فائقة لمهمة \texttt{T3H} بكفاءة عالية.

الإنسان ثلاثي الأبعاد الموجه بالنص من مجموعات ثنائية الأبعاد | أحدث الأوراق البحثية | HyperAI