VirtualPose: تعلم نماذج وضعية الإنسان ثلاثية الأبعاد القابلة للتعميم من البيانات الافتراضية

بينما يبدو أن تقدير الوضع ثلاثي الأبعاد من خلال الكاميرا الواحدة قد حقق نتائج دقيقة للغاية على المجموعات العامة للبيانات، فإن قدرتها على التعميم غالباً ما يتم تجاهلها. في هذا العمل، نقوم بتقييم منهجي للطرق الموجودة ونجد أنها تحصل على أخطاء أكبر بكثير عند اختبارها على كاميرات مختلفة وأوضاع بشرية ومظهر مختلف. لمعالجة هذه المشكلة، نقدم VirtualPose، وهو إطار تعلم ذو مرحلتين يستغل الوجبة المجانية الخفية الخاصة بهذه المهمة، أي إنتاج عدد لا نهائي من الأوضاع والكاميرات لتدريب النماذج دون أي تكلفة. لتحقيق ذلك، تقوم المرحلة الأولى بتحويل الصور إلى تمثيلات هندسية مجردة (AGR)، ثم تقوم المرحلة الثانية بربطها بالأوضاع ثلاثية الأبعاد. يعالج الإطار التعميمي لهذه المشكلة من جهتين: (1) يمكن تدريب المرحلة الأولى على مجموعات بيانات ثنائية الأبعاد متنوعة لتقليل خطر الانطباق الزائد على مظهر محدود؛ (2) يمكن تدريب المرحلة الثانية على AGR متنوعة تم تركيبها من عدد كبير من الكاميرات الافتراضية والأوضاع. يتفوق هذا الإطار على أفضل الطرق الحالية دون استخدام أي صور متزامنة وأوضاع ثلاثية الأبعاد من المعايير، مما يفتح الطريق أمام التطبيقات العملية. الرمز البرمجي متاح في https://github.com/wkom/VirtualPose.