شبكة الانتباه-الانتشار لرفع الخريطة الحرارية الذاتية إلى وضع ثلاثي الأبعاد

نقدم EgoTAP، وهي طريقة لرفع الخرائط الحرارية إلى الوضع ثلاثي الأبعاد لتحقيق تقدير دقيق للغاية للوضع ثلاثي الأبعاد من وجهة نظر الشخص الأول باستخدام الصور الاستيريو. تعتبر مشكلة التقدير الدقيق للوضع في وجهات النظر الشخصية صعبة بسبب الانغلاق الذاتي الشديد والأطراف خارج مجال الرؤية. لحل هذه المشكلة، تستخدم الطرق السابقة الخرائط الحرارية المشتركة، وهي تمثيلات احتمالية ثنائية الأبعاد للوضع الجسدي، ولكن عملية تحويل الخرائط الحرارية إلى الوضع ثلاثي الأبعاد لا تزال غير دقيقة. نقترح طريقة جديدة لرفع الخرائط الحرارية إلى الوضع ثلاثي الأبعاد تتكون من مُشفر Grid ViT والشبكة الإنتشارية (Propagation Network). يستخدم مُشفر Grid ViT التجميع الذاتي (self-attention) لتلخيص الخرائط الحرارية المشتركة في تمثيل ميزات فعال. ثم تقوم الشبكة الإنتشارية بتقدير الوضع ثلاثي الأبعاد باستخدام المعلومات الهيكلية لتحسين تقدير موقع المفاصل المخفية. أثبتت طريقتنا تفوقها بشكل كبير على أفضل التقنيات السابقة بشكل كمي ونوعي، حيث حققت انخفاضًا بنسبة 23.9٪ في خطأ مقياس MPJPE. يمكن الوصول إلى شفرتنا المصدرية على GitHub.