التكيف العصبي للجسم: توحيد التعلم العميق وتقدير الوضعية والشكل القائم على النموذج للإنسان

التوقع المباشر لموضع الجسم ثلاثي الأبعاد وشكله يظل تحديًا حتى بالنسبة للنماذج العميقة ذات المعلمات العالية. إن التحويل من فضاء الصورة ثنائية الأبعاد إلى فضاء التوقع صعب: الغموض المنظوري يجعل دالة الخسارة غير دقيقة وبيانات التدريب نادرة. في هذا البحث، نقترح نهجًا جديدًا (التناسب الجسدي العصبي (NBF)). يدمج هذا النهج نموذج جسم إحصائي داخل شبكة الاعصاب المتلافهة (CNN)، مستفيدًا من تقسيم معنى أجزاء الجسم من الأسفل إلى الأعلى بشكل موثوق والقيود المفروضة على نموذج الجسم من الأعلى إلى الأسفل بشكل قوي. يمكن تفاضل NBF بالكامل ويمكن تدريبها باستخدام شروح ثنائية وثلاثية الأبعاد. في تجارب مفصلة، نحلل كيف يؤثر مكونات نموذجنا على الأداء، خاصة استخدام تقسيمات الأجزاء كتمثيل وسيط صريح، ونقدم إطار عمل متين يمكن تدريبه بكفاءة لتقدير وضعية الإنسان ثلاثية الأبعاد من صور ثنائية الأبعاد مع نتائج تنافسية على مقاييس المعايير القياسية. سيتم توفير الكود في http://github.com/mohomran/neural_body_fitting