تقدير الوضع ثلاثي الأبعاد متعدد الزوايا الخفيف من خلال تمثيل منفصل حسب الكاميرا

نقدّم حلّاً خفيفاً لإعادة استرجاع الوضع الثلاثي الأبعاد (3D pose) من صور متعددة الزوايا تم التقاطها باستخدام كاميرات مُعدّة مكانيًا (spatially calibrated). باعتمادنا على التقدم الأخير في تعلّم التمثيل القابل للتفسير، نستفيد من الهندسة ثلاثية الأبعاد لدمج الصور المدخلة إلى تمثيل خفي موحّد للوضع، وهو مُفَصَّل (disentangled) من زوايا الكاميرات. هذا يمكّننا من الاستدلال بكفاءة على الوضع الثلاثي الأبعاد عبر زوايا مختلفة دون الحاجة إلى استخدام شبكات حجمية (volumetric grids) مكلفة من حيث الحوسبة. ثم، تُعدّ هندستنا التعلّمية التمثيل المُتعلّم بحسب عوامل التصوير الكاميرات لإنتاج كشف دقيق ثنائي الأبعاد لكل زاوية، ويمكن رفع هذه الكشفات بسهولة إلى الأبعاد الثلاثية باستخدام طبقة مُتميّزة (differentiable) تُسمّى تحويل ديركت لينير (Direct Linear Transform - DLT). ولتحقيق ذلك بكفاءة، نقترح تنفيذًا جديدًا لـ DLT يكون أسرع بمرات عديدة على هياكل وحدات معالجة الرسومات (GPU) مقارنةً بالطرق التقليدية القائمة على التحليل التجزيئي (SVD) للتحيّز (triangulation). وقد قمنا بتقييم منهجنا على مجموعتي بيانات كبيرتي الحجم لوضعية الإنسان (H36M وTotal Capture): حيث يتفوّق منهجنا أو يُنافس أحدث الطرق القائمة على الشبكات الحجمية، مع تفوّق واضح في الأداء الزمني الحقيقي (real-time performance)، على عكس هذه الطرق التي لا تحقق ذلك.