تقدير الوضع والشكل البشري ثلاثي الأبعاد من الفيديوهات باستخدام الانتباه الذاتي

نعتبر مهمة تقدير الوضع والشكل البشري ثلاثي الأبعاد من مقاطع الفيديو. رغم التقدم الكبير الذي أحرزته الأساليب القائمة على الإطارات، فإن هذه الأساليب تُطبق بشكل مستقل على كل صورة، مما يؤدي غالبًا إلى توقعات غير متسقة. في هذا العمل، نقدم خوارزمية تعلم قائمة على الفيديو لتقدير الوضع والشكل البشري ثلاثي الأبعاد. تكمن الرؤى الأساسية لطريقتنا في نقطتين رئيسيتين:أولاً، للتعامل مع مشكلة التوقعات الزمنية غير المتسقة، نستغل المعلومات الزمنية في مقاطع الفيديو ونقترح وحدة انتباه ذاتي (self-attention) تأخذ بعين الاعتبار الارتباطات قصيرة المدى وطويلة المدى بين الإطارات، مما ينتج عنه تقديرات زمنية متماسكة.ثانياً، نقوم بنمذجة الحركة البشرية باستخدام وحدة التنبؤ (forecasting module) التي تسمح بالانتقال السلس بين الإطارات المجاورة. قمنا بتقييم طريقتنا على مجموعات البيانات 3DPW، MPI-INF-3DHP، وHuman3.6M. تظهر النتائج التجريبية الواسعة أن خوارزميتنا تتقدم بشكل ملحوظ على أفضل الأساليب الحالية في المجال.