توزيعات الاحتمالية الحركية الهرمية لتقدير الشكل والوضع البشري ثلاثي الأبعاد من الصور في البيئة الطبيعية

يتناول هذا البحث مشكلة تقدير شكل الجسم البشري ووضعه في ثلاثية الأبعاد من صورة RGB. هذه غالباً ما تكون مشكلة غير محددة بشكل جيد، حيث قد تتطابق أجسام ثلاثية الأبعاد متعددة مع الأدلة المرئية الموجودة في الصورة المدخل - خاصة عندما يكون الموضوع محجوباً. لذا، من المرغوب تقدير توزيع على شكل الجسم ووضعه في ثلاثية الأبعاد مشروط بالصورة المدخل بدلاً من إعادة بناء ثلاثية الأبعاد واحدة فقط. نقوم بتدريب شبكة عصبية عميقة لتقدير توزيع مصفوفات Fisher الهرمية على مصفوفات الدوران المشتركة النسبية في ثلاثية الأبعاد (أي وضع الجسم)، والذي يستفيد من هيكل الشجرة الحركية للجسم البشري، بالإضافة إلى توزيع Gaussian على معلمات شكل الجسم SMPL. لضمان أن التوزيعات المتوقعة للشكل والوضع تتطابق مع الأدلة المرئية في الصورة المدخل، نقوم بتنفيذ مستخرج رفض قابل للمفاضلة لفرض خسارة إعادة الإسقاط بين إحداثيات المفاصل ثنائية الأبعاد الحقيقية والعينات المستخرجة من التوزيعات المتوقعة، والمُسقَطة على مستوى الصورة. نظهر أن طريقتنا تنافس أفضل التقنيات الحالية فيما يتعلق بمقياس الشكل والوضع الثلاثي الأبعاد على مجموعة بيانات SSP-3D و 3DPW، بينما توفر أيضاً توزيع احتمالي منظم على شكل الجسم ووضعه في ثلاثية الأبعاد، مما يمكننا من تقدير عدم اليقين في التوقع بشكل ذي معنى واستخراج العديد من إعادة البناء الثلاثية الأبعاد المحتملة لتفسير صورة مدخل معينة. الرمز البرمجي متاح على الرابط https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman .