Ego3DPose: التقاط مؤشرات ثلاثية الأبعاد من وجهات نظر ثنائية العين

نقدم نظام Ego3DPose، وهو نظام إعادة بناء ثلاثي الأبعاد للشخص الأول من نوعه بدقة عالية. يوفر التكوين الثنائي العيني للشخص الأول الفائدة والعمليّة في تطبيقات متنوعة، ومع ذلك، ظل هذا المجال قليل الاستكشاف. كان يعاني من دقة تقدير وضعية منخفضة بسبب تشوه الرؤية، الاختفاء الذاتي الشديد، وحدود مجال الرؤية الضيق للمسارات في صور الشخص الأول ثنائية الأبعاد. هنا، نلاحظ أن حقيقتين مهمتين ثلاثيتين للأبعاد، وهما التوافق الإستريو والمنظور، الموجودتين في المدخل الثنائي العيني للشخص الأول قد تم تجاهلهما. تعتمد الأساليب الحالية بشكل كبير على خصائص الصور ثنائية الأبعاد، مما يؤدي إلى تعلم المعلومات الثلاثية الأبعاد ضمنياً، وهذا بدوره يُحدث انحيازًا نحو الحركات المشاهدة بشكل متكرر ويؤدي إلى انخفاض الدقة الكلية. نلاحظ أن هذه الأساليب لا تفشل فقط في حالات الاختفاء الصعبة بل أيضًا في تقدير مواقع المسارات المرئية.لحل هذه التحديات، نقترح طريقتين جديدتين. أولاً، نصمم هندسة شبكة ذات مسارين مع مسار يقوم بتقدير الوضعية لكل عضو بشكل مستقل باستخدام الخرائط الحرارية الثنائية العينية الخاصة به. بدون توفير معلومات كاملة عن الجسم، فإنه يخفف الانحياز نحو التوزيع الكامل للجسم الذي تم تدريبه عليه. ثانياً، نستفيد من المنظور الشخصي للأعضاء الجسدية التي تعرض تبايناً قويًا في المنظور (مثل اليد الكبيرة جدًا عندما تكون قريبة من الكاميرا). نقترح تمثيلًا جديدًا واعيًا بالمنظور يستخدم المثلثات (Trigonometry)، مما يمكن الشبكة من تقدير ориентация الأعضاء الثلاثية الأبعاد.أخيرًا، طوّرنا شبكة إعادة بناء الوضعية بطريقة شاملة تقوم بدمج كلا التقنيتين. أظهرت تقييماتنا الشاملة أن Ego3DPose يتفوق على النماذج الأكثر تقدماً بانخفاض خطأ تقدير الوضعية (أي MPJPE) بنسبة 23.1% في مجموعة بيانات UnrealEgo. تؤكد النتائج النوعية لدينا على فائدة أسلوبنا عبر مجموعة متنوعة من السيناريوهات والتحديات.注释：在最后一段中，“ориентация”这个词是俄语，可能是原文中的错误。根据上下文，正确的词应该是“orientation”，即“取向”或“方向”。因此，我在翻译时将其翻译为“ال定向”（取向）。