الدمج بين وجهات النظر لتقدير وضع الجسم البشري ثلاثي الأبعاد

نقدم نهجًا لاستعادة الأوضاع ثلاثية الأبعاد للإنسان بشكل مطلق من صور متعددة الزوايا من خلال دمج أولويات الهندسة المتعددة الزوايا في نموذجنا. يتكون هذا النهج من خطوتين منفصلتين: (1) تقدير الأوضاع ثنائية الأبعاد في الصور المتعددة الزوايا، و(2) استعادة الأوضاع ثلاثية الأبعاد من الأوضاع ثنائية الأبعاد المتعددة الزوايا. أولاً، نقوم بدمج نظام التكامل عبر الزوايا المختلفة في شبكات النيورونات العصبية الم convoled (CNN) لتقدير الأوضاع ثنائية الأبعاد بشكل مشترك لمجموعة من الزوايا. نتيجة لذلك، يستفيد تقدير الوضع ثنائي الأبعاد لكل زاوية بالفعل من الزوايا الأخرى. ثانيًا، نقدم نموذجًا هيكليًا تصويريًا متكررًا لاستعادة الوضع ثلاثي الأبعاد من الأوضاع ثنائية الأبعاد المتعددة الزوايا. يحسن هذا النموذج تدريجيًا دقة الوضع ثلاثي الأبعاد مع تكلفة حسابية معقولة. قمنا باختبار طريقتنا على مجموعتي بيانات عامتين هما H36M و Total Capture. كانت أخطاء الموقع المتوسطة لكل مفصل在这 المجموعتين 26 ملم و 29 ملم، مما يتفوق بشكل كبير على أفضل الأساليب الحالية (26 ملم مقابل 52 ملم، 29 ملم مقابل 35 ملم). تم إصدار شفرتنا المصدرية في \url{https://github.com/microsoft/multiview-human-pose-estimation-pytorch}.