تمثيل يحافظ على البنية الحركية لتقدير الوضع البشري ثلاثي الأبعاد بدون إشراف

تقدير وضع الإنسان ثلاثي الأبعاد من صورة أحادية العدسة حظي باهتمام كبير، كخطوة أساسية في العديد من التطبيقات المركزة حول الإنسان. ومع ذلك، فإن قابلية تعميم نماذج تقدير وضع الإنسان التي تم تطويرها باستخدام الإشراف على مجموعات بيانات كبيرة داخل الاستوديو لا تزال محل تساؤل، حيث غالباً ما تكون أداء هذه النماذج غير مرضٍ في بيئات حقيقية غير معروفة. رغم اقتراح نماذج إشراف ضعيف لمعالجة هذا القصور، إلا أن أداء مثل هذه النماذج يعتمد على توفر الإشراف المتزامن على بعض المهام ذات الصلة، مثل وضع ثنائي الأبعاد أو أزواج الصور متعددة الزوايا. بخلاف ذلك، نقترح إطار عمل جديد لتقدير الوضع ثلاثي الأبعاد بدون إشراف، والذي لا يقيد بأي إشراف ضعيف متزامن أو غير متزامن. يعتمد إطارنا للتقدير على مجموعة صغيرة جداً من المعرفة السابقة التي تعريف الهيكل الحركي ثلاثي الأبعاد الكامن، مثل معلومات الاتصال بين المفاصل العظمية ونسب طول العظام في مقياس قياسي ثابت (skeletal joint connectivity information with bone-length ratios in a fixed canonical scale). يستخدم النموذج المقترح ثلاثة تحويلات متتابعة قابلة للمفاضلة تُسمى التحويل الحركي الأمامي (forward-kinematics)، والتحويل الإسقاطي للكاميرا (camera-projection)، والتحويل الخريطة الفضائية (spatial-map transformation). ليس هذا التصميم مجرد عنق زجاجة مناسب يحفز فك الارتباط الفعال للوضع فحسب، بل إنه أيضاً ينتج تمثيلات ضمنية قابلة للتفسير للوضع دون الحاجة إلى تدريب خريطة تمثيل ضمنية صريحة إلى الوضع. بالإضافة إلى ذلك، وبعيداً عن الإعداد المعادي غير المستقر (unstable adversarial setup)، نعيد استخدام المفكك لصياغة خسارة قائمة على الطاقة (energy-based loss)، مما يمكننا من التعلم من مقاطع الفيديو في البيئات الحقيقية، وليس فقط في البيئات المخبرية. تظهر التجارب الشاملة أن أدائنا في تقدير الوضع بدون إشراف وفي حالة الإشراف الضعيف هو الأكثر تقدماً على كل من مجموعتي البيانات Human3.6M و MPI-INF-3DHP. كما أن النتائج النوعية في البيئات غير المعروفة تؤكد قدرتنا الفائقة على التعميم.