نحو شبكة افتراضية متعددة الأوضاع للتجربة الافتراضية

نظام التجربة الافتراضية للملابس في أوضاع بشرية متعددة يحمل إمكانات تطبيقية ضخمة، ومع ذلك يثير العديد من التحديات، مثل الاختفاء الذاتي، والخلل الكبير في التناسق بين الأوضاع المختلفة، وتنوع نسيج الملابس. الطرق الحالية التي تهدف إلى ملاءمة ملابس جديدة على شخص ما يمكنها فقط نقل الملابس على وضع بشري ثابت، ولكنها لا تزال تظهر أداءً غير راضٍ حيث غالباً ما تفشل في الحفاظ على الهوية، وتفقد تفاصيل النسيج، وتقلل من تنوع الأوضاع. في هذا البحث، نقوم بالمحاولة الأولى نحو نظام التجربة الافتراضية للملابس الموجه بأوضاع متعددة، والذي يمكنه نقل الملابس على صورة شخص تحت أوضاع مختلفة. مع وجود صورة شخص مدخلة، وصورة ملابس مرغوبة، ووضع مرغوب، يمكن للشبكة المقترحة الموجهة بأوضاع متعددة لتجربة الملابس الافتراضية (MG-VTON) أن تولد صورة شخص جديدة بعد ملاءمة الملابس المرغوبة في الصورة المدخلة وتلاعب وضع البشر. يتم بناء شبكتنا MG-VTON في ثلاث مراحل: 1) يتم تركيب خريطة فرز بشرية مرغوبة للصورة المستهدفة لتتوافق مع كل من الوضع المرغوب وشكل الملابس المرغوبة؛ 2) تقوم شبكة التحريف الجينرائية المعادية العميقة (Warp-GAN) بتحريف مظهر الملابس المرغوبة إلى الخريطة الفرز البشرية التركيبية وتخفيف مشكلة الخلل في التناسق بين وضع البشر المدخل والمطلوب؛ 3) يستخدم المحرك الدقيق الذي يستفيد من أقنعة تركيب متعددة الأوضاع استعادة تفاصيل نسيج الملابس وإزالة بعض العيوب. أثبتت التجارب الواسعة على قواعد بيانات مشهورة وعلى أكبر مقاييسنا الجديدة لتجربة الملابس الافتراضية أن شبكتنا MG-VTON تتخطى جميع الأساليب الرائدة حاليًا بشكل كبير سواءً من الناحية النوعية أو الكمية مع أداءات واعدة لنظام التجربة الافتراضية للملابس بأوضاع متعددة.