PIFu: الدالة الضمنية المُحاذاة للبِكسلات لرقمنة البشر بملابس ذات دقة عالية

نقدم دالة الضمنية المُحاذاة البكسلية (PIFu)، وهي تمثيل ضمني فعال للغاية يُحاذي محليًا بكسلات الصور ثنائية الأبعاد مع السياق العالمي للأشياء ثلاثية الأبعاد المقابلة لها. باستخدام PIFu، نقترح طريقة تعلم عميقة من النهاية إلى النهاية لرقمنة البشر مرتديين ملابس بشكل تفصيلي عالي يمكنها استنتاج السطح ثلاثي الأبعاد والنسيج من صورة واحدة، وبشكل اختياري، من صور متعددة مدخلة. يمكن رقمنة أشكال معقدة للغاية مثل تسريحات الشعر والملابس، بالإضافة إلى تغيراتها وتشوهاتها، بطريقة موحدة. بالمقارنة مع التمثيلات المستخدمة حاليًا في التعلم العميق ثلاثي الأبعاد، يمكن لـ PIFu إنتاج سطوح ذات دقة عالية تشمل المناطق غير المرئية بشكل كبير مثل ظهر الشخص. كما أنه فعّال من حيث الذاكرة على عكس التمثيل الفوكسيلي (voxel representation)، قادر على التعامل مع أي توپولوجيا، والسطح الناتج محاذٍ فضائيًا للصورة المدخلة. بالإضافة إلى ذلك، بينما تم تصميم التقنيات السابقة لمعالجة صورة واحدة أو عدة وجهات نظر، فإن PIFu يمتد بشكل طبيعي إلى عدد غير محدد من وجهات النظر. نعرض إعادة بناء دقيقة وقوية بدقة عالية على صور حقيقية من مجموعة بيانات DeepFashion، والتي تحتوي على مجموعة متنوعة من أنواع الملابس الصعبة. حققت طريقتنا أداءً رائدًا في مقاييس عامة وتفوقت على الأعمال السابقة في رقمنة البشر مرتديين ملابس من صورة واحدة.