CloTH-VTON+: إعادة بناء الملابس ثلاثية الأبعاد للتجربة الافتراضية الهجينة القائمة على الصور

أظهرت أنظمة المحاولة الافتراضية القائمة على الصور (VTON) المستندة إلى التعلم العميق اهتمامًا كبيرًا من قبل الباحثين والشركات. وعلى الرغم من قدرتها على دمج صورة الشخص مع صورة الملابس التي يتم تجريبها وتمثيل المناطق المُحجبَة، فإن نتائجها بالنسبة للأفراد في وضعيات معقدة غالبًا ما تكون غير مرضية بسبب القيود في قدرتها على التحريف الهندسي والحفاظ على النسيج. ولحل هذه التحديات، نقترح نموذج CloTH-VTON+ لدمج سلس بين الأساليب القائمة على التعلم العميق القائمة على الصور والقدرات القوية للنموذج ثلاثي الأبعاد في التحريف الشكلي. بشكل محدد، تم تطوير عملية تلقائية بالكامل لإعادة بناء وتحوير النموذج ثلاثي الأبعاد للملابس باستخدام نموذج بشري مرجعي: أولاً، يتم مطابقة الملابس التي يتم تجريبها مع مناطق الملابس المستهدفة في نموذج بشري مرجعي بأشكال بسيطة، ثم يتم إعادة بناء النموذج ثلاثي الأبعاد للملابس. يمكن للنموذج ثلاثي الأبعاد المُعاد بناؤه إنتاج نقل للوضعية والشكل بشكل طبيعي جدًا، مع الحفاظ على نسيج الملابس. كما يُحسّن شبكة تحسين الملابس المطابقة، مما يزيل أي تشويهات ناتجة عن أخطاء في تقدير وضعية الجسم أو التحويل ثلاثي الأبعاد. وترافق الصور المُتحوّرة للملابس باستخدام شبكات توليدية شرطية لملء المناطق المحجبة ودمجها بشكل متناسق. أظهرت التجارب على مجموعة بيانات معيارية موجودة أن CloTH-VTON+ يُنتج نتائج ذات جودة أعلى مقارنة بأنظمة VTON الرائدة في مجالها، وكذلك مقارنة بنموذج CloTH-VTON. ويمكن دمج CloTH-VTON+ في تطبيقات ممتدة مثل التوجيه بوضعيات متعددة وVTON الفيديو.