التعرف على الحركات استنادًا إلى خرائط مسارات المفاصل مع شبكات العصب الاصطناعية التلافيفية

شبكات العصبونات المتلافهة (ConvNets) أظهرت مؤخرًا أداءً واعدًا في العديد من مهام رؤية الحاسوب، خاصة التعرف القائم على الصور. كيفية تطبيق ConvNets بفعالية على البيانات القائمة على التسلسل لا تزال مشكلة مفتوحة. يقترح هذا البحث طريقة فعالة وبسيطة لتمثيل المعلومات المكانية-الزمانية التي تحملها سلاسل الهيكل العظمي ثلاثية الأبعاد ($3D$) في ثلاثة صور ثنائية الأبعاد ($2D$) من خلال ترميز مسارات المفاصل وديناميكياتها في توزيع اللون في الصور، والتي تُعرف بخريطة مسارات المفاصل (Joint Trajectory Maps - JTM)، ويستخدم شبكات العصبونات المتلافهة (ConvNets) لتعلم الخصائص التمييزية للتعرف على حركات الإنسان. يمكّن هذا التمثيل القائم على الصور من ضبط نماذج ConvNets الموجودة للتصنيف سلاسل الهيكل العظمي دون إعادة تدريب الشبكات من البداية. يتم إنشاء الثلاثة JTMs في ثلاث مستويات متعامدة وتقدم معلومات مكملة لبعضها البعض. يتم تحسين التعرف النهائي بشكل أكبر من خلال دمج نقاط الثلاثة JTMs. تم تقييم الطريقة المقترحة على أربعة قواعد بيانات عامة معروفة، وهي قاعدة بيانات NTU RGB+D الكبيرة، وقاعدة بيانات الإيماءات الجستورية لـ MSRC-12 Kinect (MSRC-12)، وقاعدة بيانات G3D، وقاعدة بيانات UTD متعددة الوسائط للتعرف على حركات الإنسان (UTD-MHAD)، وأحرزت نتائجًا رائدة في مجالها.