PyMAF-X: نحو نموذج انحدار جسم كامل محاذاة بشكل جيد من الصور الأحادية العدسة
نقدم PyMAF-X، وهي طريقة تعتمد على الانحدار لاستعادة نماذج الجسم الكاملة المعلمة من الصور الأحادية العين. يعتبر هذا المهمة تحديًا كبيرًا لأن الانحرافات البسيطة في المعلمات قد تؤدي إلى عدم توافق واضح بين الشبكة المقدرة والصورة الإدخال. بالإضافة إلى ذلك، عند دمج التقديرات الخاصة بالأجزاء في النموذج الكامل للجسم، تميل الحلول الحالية إما إلى تدهور التوافق أو إنتاج وضعيات معصم غير طبيعية. لمعالجة هذه القضايا، نقترح حلقة رد فعل محاذاة الشبكة الهرمية (Pyramidal Mesh Alignment Feedback - PyMAF) في شبكتنا الانحدارية لاستعادة شبكة الإنسان بشكل جيد التوافق، ونقوم بتوسيعها كـ PyMAF-X لاستعادة نماذج الجسم الكاملة التعبيرية. الفكرة الأساسية لـ PyMAF هي الاستفادة من هرم الميزات وتصحيح المعلمات المتوقعة صراحة بناءً على حالة محاذاة الشبكة-الصورة. بصفة خاصة، بالنظر إلى المعلمات المتوقعة حاليًا، سيتم استخراج الأدلة المحاذاة للشبكة من الميزات ذات الدقة الأعلى وتقديمها مرة أخرى لتصحيح المعلمات. لتعزيز إدراك التوافق، يتم استخدام رقابة كثيفة مساعدة لتوفير توجيه للتوافق بين الشبكة والصورة بينما يتم تقديم انتباه التوافق المكاني لإمكانية إدراك السياقات العالمية لشبكتنا. عند توسيع PyMAF لاستعادة شبكة الجسم الكامل، تم اقتراح استراتيجية دمج متكيفة في PyMAF-X لإنتاج وضعيات معصم طبيعية مع الحفاظ على أداء التوافق الجيد للتقديرات الخاصة بالأجزاء. تم التحقق من فعالية نهجنا على عدة قواعد بيانات معيارية لاستعادة شبكات الجسم واليدين والوجه والجسم الكامل، حيث تحسن PyMAF وPyMAF-X بشكل فعال محاذاة الشبكة-الصورة وتحقق نتائج جديدة رائدة في المجال. يمكن العثور على صفحة المشروع التي تحتوي على الكود ونتائج الفيديو في https://www.liuyebin.com/pymaf-x.