xR-EgoPose: وضعية الإنسان ثلاثية الأبعاد من كاميرا جهاز العرض الرأسية

نقدم حلاً جديداً لتقدير وضع الجسم ثلاثي الأبعاد من وجهة نظر الذات (Egocentric) من صور أحادية العدسة تم التقاطها من كاميرا عين السمكة (Fish-eye Camera) مثبتة على حافة جهاز واقع افتراضي مثبت على الرأس. هذا المنظور غير المعتاد، الذي يبعد حوالي 2 سم عن وجه المستخدم، يؤدي إلى صور ذات مظهر بصرى فريد، يتميز بالانغلاق الذاتي الشديد والتشوهات الإسقاطية القوية التي تنتج عنها فروقات كبيرة في الدقة بين الجزء السفلي والجزء العلوي من الجسم. إسهامنا ذو طبيعة ثنائية. أولاً، نقترح هندسة جديدة لمُشفِّر-مُفكِّك (Encoder-Decoder) مع مُفكِّك ذو فرعين جديد ومصمم خصيصاً للتعامل مع عدم اليقين المتغير في مواقع المفاصل ثنائية الأبعاد. تقييمنا الكمي، سواء على بيانات مصنوعة أو بيانات حقيقية، يوضح أن استراتيجيتنا تقود إلى تحسينات كبيرة في الدقة مقارنة بأحدث الأساليب لتقدير وضع الجسم من وجهة نظر الذات. ثانيًا، نقدم مجموعة بيانات صناعية جديدة وذات نطاق كبير وواقعية بصرية عالية - xR-EgoPose - تحتوي على 383 ألف إطار من رسومات عالية الجودة لأشخاص بمجموعة متنوعة من ألوان البشرة وأشكال الأجسام والملابس وفي خلفيات وأنواع إضاءة مختلفة، يقومون بأداء مجموعة متنوعة من الحركات. تجاربنا تظهر أن التنوع العالي في مجموعة البيانات التدريبية الصناعية الجديدة لدينا يؤدي إلى تعميم جيد على المشاهد الحقيقية وعلى تحقيق أفضل النتائج في البيانات الحقيقية ذات الحقائق الأرضية (Ground Truth). بالإضافة إلى ذلك، فإن التقييم على مقاييس Human3.6M يظهر أن أداء طريقتنا يوازي أفضل الأساليب لأكثر المشكلات كلاسيكية في تقدير وضع الإنسان ثلاثي الأبعاد من وجهة نظر شخص ثالث.