تقدير وضعية الإنسان ثلاثية الأبعاد في البيئة الحقيقية باستخدام الإشراف الضعيف الخارجي

تقدير وضع الإنسان ثلاثي الأبعاد من وجهة نظر الذات باستخدام كاميرا واحدة ذات زاوية عريضة (fisheye) جذب اهتماماً كبيراً مؤخراً. ومع ذلك، تواجه الطرق الحالية صعوبات في تقدير الوضع من الصور الطبيعية (in-the-wild)، لأنها يمكن تدريبها فقط على بيانات مصطنعة بسبب عدم توفر قواعد بيانات طبيعية كبيرة من وجهة نظر الذات. بالإضافة إلى ذلك، تفشل هذه الطرق بسهولة عندما تكون أجزاء الجسم مغطاة أو تتفاعل مع المشهد المحيط. لمعالجة نقص البيانات الطبيعية، قمنا بجمع قاعدة بيانات طبيعية كبيرة من وجهة نظر الذات تُسمى وضعيات الذات في البرية (Egocentric Poses in the Wild - EgoPW). يتم التقاط هذه القاعدة البيانات بواسطة كاميرا زاوية عريضة مثبتة على الرأس وكاميرا خارجية مساعدة، مما يوفر رؤية إضافية للجسم البشري من وجهة نظر شخص ثالث أثناء التدريب. نقدم طريقة جديدة لتقدير وضع الذات يمكن تدريبها على القاعدة البيانات الجديدة باستخدام إشراف خارجي ضعيف. تحديداً، نقوم أولاً بتوليد العلامات الوهمية لقاعدة بيانات EgoPW باستخدام طريقة الأمثلة الزمانية-المكانية التي تتضمن الإشراف الخارجي. ثم يتم استخدام هذه العلامات الوهمية لتدريب شبكة تقدير وضع الذات. لتسهيل تدريب الشبكة، نقترح استراتيجية تعلم جديدة لإشراف الخصائص الذاتية بالخصائص عالية الجودة المستخرجة بواسطة نموذج تقدير وضع خارجي تم تدريبه مسبقاً. تظهر التجارب أن طريقتنا تتوقع أوضاعاً ثلاثية الأبعاد دقيقة من صورة واحدة طبيعية من وجهة نظر الذات وتتفوق على أفضل الطرق الحالية سواء بشكل كمي أو نوعي.