إطار موحد لتمييز الأنشطة عبر تجميع النقاط الرئيسية المنظمة

يتعامل هذا البحث بشكل متزامن مع ثلاثة تحديات مرتبطة بالتقنيات التقليدية لتحديد الأنشطة المستندة إلى الهيكل العظمي؛ أخطاء الكشف والتتبع للنقاط الرئيسية، ضعف تنوع الأنشطة المستهدفة، بالإضافة إلى تحديد الأنشطة على مستوى الشخص والصورة. يتم تقديم مفهوم التعلم العميق باستخدام السحابة النقطية (Point Cloud) في مجال تحديد الأنشطة، ويقترح إطارًا موحدًا وعمارة شبكة عصبية عميقة جديدة تُسمى "التجميع النقطي المهيكل" (Structured Keypoint Pooling). يجمع الطريقة المقترحة خصائص النقاط الرئيسية بشكل نادر وفي طريقة متتابعة بناءً على المعرفة السابقة ببنية البيانات (التي تكون متأصلة في الهياكل العظمية)، مثل الحالات والأطر التي تنتمي إليها كل نقطة رئيسية، مما يحقق صلابة ضد أخطاء الإدخال. تمكن هندستها الأقل قيدًا وخالية من التتبع من معالجة سلاسل النقاط الزمنية التي تتكون من هياكل عظمية بشرية وملامح أشياء غير بشرية بكفاءة كسحابة نقاط ثلاثية الأبعاد، مما يوسع تنوع الأنشطة المستهدفة. بالإضافة إلى ذلك، نقترح حيلة "تبديل التجميع" (Pooling-Switching Trick) مستوحاة من التجميع النقطي المهيكل. تقوم هذه الحيلة بتبديل نوى التجميع بين مراحل التدريب والاستدلال لاكتشاف الأنشطة على مستوى الشخص والصورة بطريقة إشراف ضعيف باستخدام فقط تصنيفات الأنشطة على مستوى الفيديو. تمكن هذه الحيلة مخطط التدريب لدينا من إدخال تقنيات جديدة لتضخيم البيانات بشكل طبيعي، والتي تختلط فيها عدة سحب نقاط تم استخراجها من فيديوهات مختلفة. في التجارب، نتحقق بشكل شامل من فعالية الطريقة المقترحة ضد هذه التحديات، وتتفوق الطريقة على أفضل الطرق الحالية لتحديد الأنشطة المستندة إلى الهيكل العظمي وتحديد المواقع الزمانية-المكانية للأنشطة.