ElePose: تقدير وضع الجسم البشري ثلاثي الأبعاد دون إشراف من خلال التنبؤ بارتفاع الكاميرا وتعلم جريان التطبيع على الوضعيات ثنائية الأبعاد

تقدير وضع الإنسان من صور فردية هو مشكلة معقدة تُحل عادةً باستخدام التعلم الإشرافي (التعليم المشرف). ومع الأسف، فإن البيانات التدريبية المصنفة غير متوفرة بعد للكثير من أنشطة الإنسان، نظرًا لأن التسمية ثلاثية الأبعاد تتطلب أنظمة التقاط الحركة المخصصة. لذلك، نقترح نهجًا غير إشرافي يتعلم التنبؤ بوضع الإنسان ثلاثي الأبعاد من صورة فردية بينما يتم تدريبه فقط على بيانات وضع ثنائية الأبعاد، والتي يمكن الحصول عليها من الجمهور وتتوفر بالفعل على نطاق واسع. لتحقيق هذا الهدف، نقدر وضع الإنسان ثلاثي الأبعاد الأكثر احتمالية عبر الابعاد العشوائية، مع تقدير الاحتمال باستخدام جريان التطبيع (normalizing flows) على الوضعيات ثنائية الأبعاد. في حين تتطلب الأعمال السابقة افتراضات قوية حول دورات الكاميرا في مجموعة البيانات التدريبية، فإننا نتعلم توزيع زوايا الكاميرا مما يحسن الأداء بشكل كبير. جزء آخر من مساهمتنا هو تعزيز استقرار التدريب باستخدام جريان التطبيع على بيانات الوضع ثلاثية الأبعاد ذات البعد العالي عن طريق إسقاط الوضعيات ثنائية الأبعاد أولاً إلى فضاء خطي فرعي. نتفوق على أفضل الأساليب غير الإشرافية لتقدير وضع الإنسان في العديد من المقاييس على مجموعات البيانات المرجعية Human3.6M و MPI-INF-3DHP.