Street TryOn: التعلم في البيئة الطبيعية للتجربة الافتراضية من صور أشخاص غير مزدوجة

تُحفَّز معظم الأبحاث المتعلقة بالتجربة الافتراضية للملابس من قبل قطاع الموضة، من خلال إنتاج صور تُظهر الملابس على نماذج مهنية في استوديو بتكاليف أقل. ومع ذلك، ينبغي أن تكون التجربة الافتراضية للملابس تطبيقًا أوسع يسمح للعملاء برؤية الملابس على أنفسهم باستخدام صورهم اليومية، ما يُعرف بتجربة الملابس في البيئة الحرة (in-the-wild try-on). وللأسف، تُظهر الطرق الحالية، التي تحقق نتائج مقنعة في البيئات الاستوديوية، أداءً ضعيفًا في السياقات الحرة. وذلك لأن هذه الطرق غالبًا ما تتطلب بيانات مزدوجة (صور للملابس مزرونة بصور لأشخاص يرتدون نفس الملابس) لتدريب النموذج. بينما يمكن جمع هذه البيانات المزدوجة بسهولة من مواقع التسوق في البيئات الاستوديوية، فإن جمعها في السياقات الحرة يُعد أمرًا صعبًا.في هذا العمل، نُغطي هذه الفجوة من خلال (1) تقديم معيار جديد يُسمى StreetTryOn لدعم تطبيقات التجربة الافتراضية للملابس في البيئة الحرة، و(2) اقتراح طريقة جديدة تتعلم التجربة الافتراضية مباشرة من مجموعة من صور الأشخاص في البيئة الحرة دون الحاجة إلى بيانات مزدوجة. ونواجه التحديات الفريدة، مثل تحويل الملابس لتتناسب مع أوضاع بدنية متنوعة وتصوير خلفيات معقدة بدقة، من خلال طريقة مبتكرة تُعرف باسم تصحيح تحويل DensePose، مدمجة مع تقنية التعبئة الشرطية القائمة على التوسع (diffusion-based conditional inpainting). تُظهر تجاربنا أداءً تنافسيًا في المهام القياسية للتجربة الافتراضية في الاستوديو، وأفضل أداء ممكن (SOTA) في مهام التجربة الافتراضية في الشوارع والتجربة الافتراضية عبر المجالات المختلفة.