PaMIR: تمثيل ضمني مشروط بنموذج معلمي لإعادة بناء الإنسان من الصور

إن نمذجة البشر ثلاثية الأبعاد بدقة وثبات من صورة واحدة أمرٌ شديد الصعوبة، والمفتاح لحل هذه المشكلة غير المحددة بشكل جيد هو التمثيل ثلاثي الأبعاد للنماذج البشرية. لتجاوز حدود التمثيلات ثلاثية الأبعاد التقليدية، نقترح تمثيل الضمني المشروط بالنموذج المعلمي (Parametric Model-Conditioned Implicit Representation - PaMIR)، الذي يجمع بين النموذج الجسدي المعلمي والدالة الضمنية العميقة الحرة الشكل.في إطار إعادة بناء النموذج القائم على PaMIR، تم اقتراح شبكة عصبية عميقة جديدة لتنظيم الدالة الضمنية العميقة الحرة الشكل باستخدام الخصائص الدلالية للنموذج المعلمي، مما يعزز قدرة التعميم في سياقات الأوضاع الصعبة وأنواع الملابس المختلفة. بالإضافة إلى ذلك، تم دمج خسارة تدريب جديدة تدرك الغموض العمقي لحل الغموض في العمق وتتيح إعادة بناء التفاصيل السطحية بنجاح حتى مع وجود مرجع جسدي غير مثالي.أخيرًا، نقترح طريقة تحسين مرجع الجسم لتحسين دقة تقدير النموذج المعلمي وتعزيز التناسق بين النموذج المعلمي والدالة الضمنية. بفضل تمثيل PaMIR، يمكن توسيع إطارنا بسهولة ليشمل سيناريوهات إدخال صور متعددة دون الحاجة إلى ضبط كاميرات متعددة أو تناغم الوضع.تظهر النتائج التجريبية أن طريقتنا تحقق أداءً رائدًا في إعادة بناء البشر ثلاثية الأبعاد المستندة إلى الصور في حالات الأوضاع الصعبة وأنواع الملابس المختلفة.