على فوائد الوضع ثلاثي الأبعاد والتتبع في التعرف على الحركات البشرية

في هذه الدراسة، نستعرض الفوائد الناتجة عن استخدام تتبع الحركة ووضعيات ثلاثية الأبعاد في التعرف على الإجراءات. لتحقيق ذلك، نتبع النهج اللاغرانجي في تحليل الإجراءات على طول مسار حركة الإنسان، بدلًا من تحليلها عند نقطة ثابتة في الفضاء. وباتباع هذا النهج، نتمكن من استخدام مسارات الأشخاص (tracklets) للتنبؤ بإجراءاتهم. وبهذا الإطار، نُظهر أولًا فوائد استخدام الوضعيات ثلاثية الأبعاد لاستنتاج الإجراءات، وندرس التفاعلات بين الأشخاص. ثم نقترح نموذجًا للتعريف بالإجراءات باستخدام النهج اللاغرانجي، من خلال دمج الوضعيات ثلاثية الأبعاد مع ملامح المظهر المُحتَفَظ بها (contextualized appearance) على طول المسارات. وبهذا، يحقق نهجنا أداءً متفوقًا على مستوى الحالة الراهنة (state-of-the-art) على مجموعة بيانات AVA v2.2، سواء في البيئات التي تعتمد فقط على الوضعيات، أو في المعايير القياسية المعيارية. عند التفكير في الإجراء باستخدام معلومات الوضعية وحدها، يحقق نموذج الوضعية لدينا زيادة قدرها +10.0 نقطة في مقياس mAP مقارنة بالنموذج الأكثر تقدمًا في نفس السياق، بينما يحقق النموذج المُدمج زيادة قدرها +2.8 نقطة في مقياس mAP مقارنة بأفضل نموذج مُتقدم. يمكن الاطلاع على الكود والنتائج عبر الرابط التالي: https://brjathu.github.io/LART