إعادة بناء الإنسان الملبس ثلاثي الأبعاد في البيئة الطبيعية

رغم التقدم الكبير الذي تحقق في إعادة بناء الإنسان ثلاثي الأبعاد مرتدي الملابس، فإن معظم الطرق الحالية تفشل في إنتاج نتائج قوية من الصور الطبيعية (in-the-wild)، التي تحتوي على أوضاع وإطلالات بشرية متنوعة. وهذا يرجع بشكل أساسي إلى الفجوة الكبيرة بين مجموعات البيانات المستخدمة في التدريب ومجموعات البيانات الطبيعية. عادةً ما تكون مجموعات البيانات المستخدمة في التدريب صناعية، وتحتوي على صور مرسومة من المسح الضوئي ثلاثي الأبعاد الحقيقي (GT 3D scans). ومع ذلك، فإن هذه المجموعات تحتوي على أوضاع بشرية بسيطة وأقل طبيعية في الإطلالة مقارنة بالصور الحقيقية الطبيعية، مما يجعل تعميم النماذج عليها أمرًا شديد الصعوبة. لحل هذه المشكلة، نقترح في هذا العمل إطار عمل ClothWild لإعادة بناء الإنسان ثلاثي الأبعاد مرتدي الملابس، وهو أول إطار يعمل على تعزيز القوة والثبات للصور الطبيعية. أولاً، لتعزيز الثبات أمام الفجوة بين المجالات، نقترح خط أنابيب (pipeline) مستخدمًا الرقابة الضعيفة (weakly supervised) التي يمكن تدريبها باستخدام أهداف رقابة ثنائية الأبعاد من مجموعات البيانات الطبيعية. ثانياً، نصمم دالة خسارة تعتمد على تقنية DensePose لتقليل الغموض الناجم عن الرقابة الضعيفة. وقد أظهرت الاختبارات التجريبية الواسعة على عدة مجموعات بيانات عامة طبيعية أن ClothWild المقترح لدينا ينتج نتائج أكثر دقة وقوة بكثير من أفضل الطرق الحالية. يمكن الوصول إلى الكود البرمجي هنا: https://github.com/hygenie1228/ClothWild_RELEASE.