PyMAF: تقدير وضع الجسم البشري وشكله ثلاثي الأبعاد باستخدام حلقة معاودة تجميع الشبكة الهرمية

الطرق المستندة إلى الانحدار أظهرت مؤخرًا نتائج واعدة في إعادة بناء الشبكات البشرية من الصور الأحادية العدسة. من خلال رسم خريطة مباشرة بين البكسلات الخام ومعامل النموذج، يمكن لهذه الطرق إنتاج نماذج معلمة بطريقة تغذية أمامية عبر الشبكات العصبية. ومع ذلك، قد يؤدي الانحراف الطفيف في المعاملات إلى اختلال ملحوظ بين الشبكات المقدرة وأدلة الصورة. لمعالجة هذه المشكلة، نقترح حلقة رد فعل محاذاة الشبكة الهرمية (PyMAF) للاستفادة من هرم الميزات وتصحيح المعاملات المتوقعة بشكل صريح بناءً على حالة محاذاة الشبكة-الصورة في المصنف العميق الخاص بنا. في PyMAF، بالنظر إلى المعاملات المتوقعة حاليًا، سيتم استخراج أدلة محاذاة الشبكة من الميزات ذات الدقة الأعلى وتقديمها مرة أخرى لتصحيح المعاملات. للحد من الضوضاء وتعزيز موثوقية هذه الأدلة، يتم فرض إشراف بكسلي مساعد على كودر الميزات، مما يوفر توجيهًا للمراسلات بين الشبكة والصورة لشبكتنا لحفظ المعلومات الأكثر ارتباطًا في الميزات الفضائية. تم التحقق من فعالية نهجنا على عدة مقاييس، بما في ذلك Human3.6M، 3DPW، LSP، وCOCO، حيث أظهرت النتائج التجريبية أن نهجنا يحسن باستمرار محاذاة الشبكة-الصورة لإعادة الإنشاء. يمكن العثور على صفحة المشروع مع الكود والنتائج المرئية على الرابط التالي: https://hongwenzhang.github.io/pymaf.