Jointformer: محول ذو إطار واحد مع تنبؤ بالخطأ وتصحيح للتقدير ثلاثي الأبعاد لوضعية الجسم البشري
تقنيات تقدير الوضعية ثلاثية الأبعاد للإنسان من خلال الكاميرا أحادية العدسة لديها إمكانات كبيرة لزيادة توافر بيانات حركة الإنسان. تستخدم أفضل النماذج لأداء رفع الصور ثنائية الأبعاد إلى ثلاثية الأبعاد شبكات التحويل الرسومي (GCNs) التي تتطلب عادةً بعض الإدخال اليدوي لتحديد العلاقات بين المفاصل المختلفة في الجسم. نقترح نهجًا جديدًا يستند إلى متحولات (Transformers) يستخدم آلية الانتباه الذاتي الأكثر تعميمًا لتعلم هذه العلاقات ضمن سلسلة من الرموز تمثل المفاصل. وجدنا أن استخدام الإشراف الوسيط، بالإضافة إلى الروابط المتبقية بين المشفّرات المتراكمة، يفيد الأداء. كما نقترح أن استخدام التنبؤ بالخطأ كجزء من إطار تعلم متعدد المهام يحسن الأداء بسماحه للشبكة بالتعويض عن مستوى الثقة الخاص بها. نقوم بدراستنا الاستقصائية الشاملة لإظهار أن كل مساهمة من مساهماتنا تزيد من الأداء. علاوة على ذلك، نظهر أن نهجنا يتفوق بشكل كبير على الحالة الحديثة للتقنية لأداء تقدير الوضعية ثلاثية الأبعاد للإنسان في الإطار الواحد. لقد جعلنا شفرتنا المصدرية والنماذج التي تم تدريبها متاحة للعامة على موقع Github.