الشبكات العصبية الموجهة بالدلالات للاعتراف الفعال بحركات الإنسان باستخدام الهيكل العظمي

التعرف على حركات الإنسان باستخدام الهيكل العظمي قد جذب اهتمامًا كبيرًا بفضل سهولة الوصول إلى بيانات الهيكل العظمي للإنسان. مؤخرًا، هناك اتجاه نحو استخدام شبكات عصبية تغذية أمامية عميقة جدًا لنمذجة إحداثيات المفاصل ثلاثية الأبعاد دون النظر إلى كفاءة الحساب. في هذا البحث، نقترح شبكة عصبية بسيطة ومعتبرة موجهة بالمعنى (SGN) للتعرف على الحركات باستخدام الهيكل العظمي. نقوم بتقديم الدلالات العليا للمفاصل (نوع المفصل ومؤشر الإطار) بشكل صريح إلى الشبكة لتعزيز قدرتها على تمثيل الخصائص. بالإضافة إلى ذلك، نستغل العلاقة بين المفاصل بطريقة هرمية من خلال وحدتين، وهما: وحدة مستوى المفصل لنمذجة الارتباطات بين المفاصل في نفس الإطار، ووحدة مستوى الإطار لنمذجة الاعتمادات بين الإطارات بأخذ المفاصل في نفس الإطار كوحدة واحدة. يتم اقتراح خط أساس قوي لتسهيل دراسة هذا المجال. مع حجم نموذج أصغر بمقدار عامل من معظم الأعمال السابقة، حققت SGN أفضل الأداء الحالي على مجموعات البيانات NTU60 وNTU120 وSYSU. يمكن الحصول على الكود المصدر من الرابط https://github.com/microsoft/SGN.