SPiKE: وضعية الإنسان ثلاثية الأبعاد من تسلسلات السحابة النقطية

تقدير وضع الإنسان ثلاثي الأبعاد (HPE) هو مهمة تحديد نقاط المفتاح للجسم البشري في الفضاء ثلاثي الأبعاد من تمثيلات ثنائية أو ثلاثية الأبعاد مثل صور RGB، خرائط العمق أو السحب النقطية. تعتمد طرق تقدير وضع الإنسان ثلاثي الأبعاد الحالية من خرائط العمق والسحب النقطية بشكل أساسي على تقدير الإطار الواحد ولا تستغل المعلومات الزمنية من التسلسلات. يقدم هذا البحث SPiKE، وهو نهج جديد لتقدير وضع الإنسان ثلاثي الأبعاد باستخدام تسلسلات السحب النقطية. على عكس الطرق القائمة التي تعالج الإطارات في التسلسل بشكل مستقل، يستفيد SPiKE من السياق الزمني بتبنيه هندسة Transformer لترميز العلاقات المكانية-الزمنية بين النقاط عبر التسلسل. من خلال تقسيم السحابة النقطية إلى أحجام محلية واستخدام استخراج الميزات المكانية عبر التفاف النقاط المكاني، يضمن SPiKE معالجة فعالة بواسطة Transformer مع الحفاظ على سلامة المكان لكل زمن. أظهرت التجارب على معيار ITOP لتقدير وضع الإنسان ثلاثي الأبعاد أن SPiKE يصل إلى نسبة mAP تبلغ 89.19٪، مما يجعله يحقق أفضل الأداء الحالي مع أوقات استدلال أقل بكثير. تؤكد الاختبارات الواسعة أيضًا فعالية استغلال التسلسل واختياراتنا الخوارزمية. يمكن الحصول على الكود والنماذج من الرابط التالي:https://github.com/iballester/SPiKE