تفكيك وتوحيد الالتفافات الرسمية للهيكل العظمي لتمييز الحركة

الرسوم البيانية المكانية-الزمانية تم استخدامها على نطاق واسع من قبل خوارزميات التعرف على الحركة القائمة على الهيكل العظمي لنمذجة ديناميكيات الحركة البشرية. لتحقيق أنماط حركة قوية من هذه الرسوم، فإن تجميع السياق على المدى الطويل وعلى مستويات متعددة ونمذجة الارتباطات المكانية-الزمانية هي جوانب أساسية لمستخلص الخصائص القوي. ومع ذلك، فإن الطرق الحالية لديها حدود في تحقيق (1) نمذجة علاقات المفاصل على المدى الطويل دون تحيز تحت المشغلات متعددة المستويات و(2) تدفق معلومات غير مقيد عبر الزمان والمكان لالتقاط ارتباطات مكانية-زمانية معقدة. في هذا العمل، نقدم (1) طريقة بسيطة لفك تشابك عمليات التجميع متعددة المستويات للرسوم البيانية و(2) مشغل رسم بياني مكاني-زماني موحد يُسمى G3D. يتضمن مخطط التجميع متعدد المستويات المقترح فك تشابك أهمية العقد في الأحياء المختلفة لتحقيق نمذجة فعالة على المدى الطويل. يستخدم الوحدة المقترحة G3D الحواف الكثيفة عبر الزمان والمكان كروابط تخطي لنقل المعلومات مباشرة عبر الرسم البياني المكانى-الزماني. من خلال ربط هذه المقترحات، نطور مستخلص خصائص قوي يُسمى MS-G3D، حيث يتفوق نموذجنا على الطرق السابقة الأكثر تقدماً في ثلاثة مجموعات بيانات كبيرة: NTU RGB+D 60، NTU RGB+D 120، و Kinetics Skeleton 400.