SkeleMotion: تمثيل جديد لسلسلة مفاصل الهيكل العظمي يستند إلى المعلومات الحركية للاعتراف بالأفعال ثلاثية الأبعاد

بسبب توفر مجموعات بيانات الهيكل الكبيرة الحجم، أصبحت تقنية التعرف على حركات الإنسان ثلاثية الأبعاد محط اهتمام مجتمع رؤية الكمبيوتر مؤخرًا. ركز العديد من الدراسات على ترميز بيانات الهيكل كتمثيلات صورية للهيكل تعتمد على البنية المكانية للمفاصل، حيث يتم ترميز الديناميكيات الزمنية للسquence (السلسلة) كاختلافات في الأعمدة، وتمثل البنية المكانية لكل إطار كصفوف في مصفوفة. لتحسين مثل هذه التمثيلات بشكل أكبر، نقدم تمثيلاً صورياً جديداً للهيكل يمكن استخدامه كمدخل لشبكات العصب المتكررة (CNNs)، والذي أطلق عليه اسم SkeleMotion (سكيلموشن). يرمّز النهج المقترح للديناميكيات الزمنية بحساب قيم المقدار والتوجيه للمفاصل بشكل صريح. يتم استخدام مقاييس زمنية مختلفة لحساب قيم الحركة لتجميع المزيد من الديناميكيات الزمنية إلى التمثيل، مما يجعله قادراً على التقاط التفاعلات الطويلة المدى بين المفاصل التي تنطوي عليها الحركات وكذلك تصفيت قيم الحركة الضوضائية. تظهر النتائج التجريبية فعالية التمثيل المقترح في التعرف على الحركات ثلاثية الأبعاد، حيث يتفوق على أفضل التقنيات الموجودة حتى الآن في مجموعة بيانات NTU RGB+D 120.