التقدير الهرمي للوضعية البشرية ثلاثية الأبعاد تحت الإشراف الضعيف

تقدير الوضع ثلاثي الأبعاد للإنسان من صور RGB أحادية العدسة جذب اهتماماً كبيراً في السنوات الأخيرة. ومع ذلك، تعتمد النماذج الحديثة على التدريب الإشرافي باستخدام بيانات الحقيقة الأرضية للوضع ثلاثي الأبعاد أو معلومات سابقة معروفة عن الوضع لمناطق الهدف الخاصة بها. يتم جمع البيانات ثلاثية الأبعاد عادةً باستخدام أجهزة التقاط الحركة، مما يحد بشدة من قابلية تطبيقها. في هذا البحث، نقدم حلاً تقريبياً للإشراف الضعيف على تقدير الوضع ثلاثي الأبعاد للإنسان (HW-HuP) لتقدير الأوضاع ثلاثية الأبعاد عندما لا تكون بيانات الحقيقة الأرضية ثلاثية الأبعاد متاحة. يتعلم HW-HuP جزءًا من المعلومات السابقة عن الوضع من مجموعات بيانات وضع الإنسان ثلاثي الأبعاد ويستخدم الملاحظات السهلة الوصول إليها من منطقة الهدف لتقدير وضع وشكل الإنسان في دورة تحسين وتنبؤ. نستخدم بيانات العمق للإشراف الضعيف أثناء التدريب، ولكن ليس أثناء الاستدلال. نظهر أن HW-HuP يحسن بشكل ملحوظ على النماذج الرائدة في مجالها في حالتين عمليتين حيث يصعب الحصول على بيانات وضع الإنسان ثلاثي الأبعاد: وضع الإنسان في السرير، ووضع الأطفال البري (in the wild). بالإضافة إلى ذلك، نظهر أن HW-HuP يحافظ على أداء مماثل لنماذج الطليعة على مقاييس عامة حتى عندما تقوم هذه النماذج بالتدريب باستخدام بيانات وضع الإنسان ثلاثي الأبعاد.