SiTH: إعادة بناء الإنسان المُلمس من منظور واحد باستخدام التوسع المشروط بالصورة

هدف ثابت في مجال إعادة بناء الإنسان ثلاثي الأبعاد هو إنشاء نماذج بشرية ثلاثية الأبعاد واقعية ومفصلة بالكامل من صور ذات زاوية واحدة. يكمن التحدي الرئيسي في استنتاج أشكال الجسم وألوانه وتفاصيل الملابس غير المرئية في المناطق التي لا تظهر في الصور. لمعالجة هذا، نقترح SiTH (إعادة بناء الإنسان ثلاثي الأبعاد من صورة واحدة)، وهو خط أنابيب جديد يدمج بشكل فريد نموذج توزيع مشروط بالصورة في عملية إعادة بناء الشبكة ثلاثية الأبعاد. في قلب طريقتنا يتم تحليل المشكلة المعقدة لإعادة البناء من زاوية واحدة إلى مشكلتين فرعيتين: التخيل الجينراتيفي وإعادة البناء. بالنسبة للأولى، نستخدم نموذج توزيع جينراتيفي قوي للتخيل المظهر الخلفي غير المرئي بناءً على الصور المدخلة. أما بالنسبة للثانية، فنستفيد من شبكات الجسم المغلفة كدليل لإعادة بناء شبكات النسيج الكاملة للجسم من الصور المدخلة والخلفية. يتطلب SiTH ما يصل إلى 500 مسح ضوئي ثلاثي الأبعاد للإنسان للتدريب مع الحفاظ على عموميته وقدرته على التعامل مع صور متنوعة. أظهرت التقييمات الواسعة على معيارين لتصحيح الإنسان ثلاثي الأبعاد، بما في ذلك معيارنا الجديد الذي أنشأناه حديثًا، الدقة العالية وجودة الإدراك البصري لطريقتنا في إعادة بناء الإنسان ثلاثي الأبعاد ذو النسيج. يمكن الوصول إلى شفرتنا ومعيار التقييم الخاص بنا عبر الرابط https://ait.ethz.ch/sith