PIFuHD: الدالة الضمنية متعددة المستويات المتماهية مع البكسل لرقمنة الإنسان ثلاثية الأبعاد بدقة عالية

التطورات الحديثة في تقدير الشكل البشري ثلاثي الأبعاد المستند إلى الصور قد تم دفعها من خلال التحسين الكبير في قوة التمثيل التي توفرها الشبكات العصبية العميقة. رغم أن الأساليب الحالية أظهرت إمكاناتها في الإعدادات الواقعية، إلا أنها لا تزال تفشل في إنتاج إعادة بناء تحتوي على مستوى التفاصيل الموجود غالبًا في الصور المدخلة. نعتقد أن هذا القيود ينبع بشكل أساسي من متطلبين متعارضين؛ يتطلب التنبؤ الدقيق سياقًا كبيرًا، ولكن يتطلب التنبؤ الدقيق أيضًا دقة عالية. بسبب القيود الذاكرة في الأجهزة الحالية، تميل الأساليب السابقة إلى استخدام صور ذات دقة منخفضة كمدخلات لتغطية السياق المكاني الكبير، مما يؤدي إلى إنتاج تقديرات ثلاثية الأبعاد أقل دقة (أو ذات دقة منخفضة). نعالج هذه القيود من خلال صياغة هندسة متعددة المستويات قابلة للتدريب من النهاية إلى النهاية. المستوى الخشن يراقب الصورة بأكملها بدقة أقل ويركز على الاستدلال الكلي. هذا يوفر السياق للمستوى الدقيق الذي يقدر الهندسة ذات التفاصيل العالية بمراعاة صور ذات دقة أعلى. نثبت أن أسلوبنا يتفوق بشكل كبير على التقنيات الرائدة الحالية في إعادة بناء الشكل البشري ثلاثي الأبعاد من صورة واحدة عن طريق الاستفادة الكاملة من صور المدخلات بدقة 1k.