GaitMixer: تعلم تمثيل المشي القائم على الهيكل العظمي من خلال مزج متعدد المحاور واسع الطيف

معظم طرق التعرف على المشية الحالية تعتمد على المظهر، والتي تعتمد بدورها على المخططات المقتطعة من بيانات الفيديو لأنشطة المشي البشرية. بينما تتعلم الطرق القائمة على الهيكل العظمي للمشية، التي تم استكشافها بشكل أقل، الديناميكيات مباشرة من سلاسل الهيكل العظمي البشري ثنائي الأبعاد أو ثلاثي الأبعاد (2D/3D)، وهي حلول أكثر متانة نظريًا في وجود تغييرات في المظهر الناجمة عن الملابس، تسريحات الشعر، والأشياء التي يحملها الشخص. ومع ذلك، لا تزال أداء الحلول القائمة على الهيكل العظمي متأخرًا بشكل كبير عن تلك القائمة على المظهر. يهدف هذا البحث إلى تقليص هذه الفجوة في الأداء من خلال اقتراح نموذج شبكة جديد يُسمى GaitMixer لتعلم تمثيل مشية أكثر تميزًا من بيانات سلسلة الهيكل العظمي. وبشكل خاص، يتبع GaitMixer هندسة مختلطة متعددة المحاور غير متجانسة، والتي تستفيد من مزج الانتباه الذاتي المكاني يتبعه مزج التفاف النواة الكبيرة الزمنية لتعلم إشارات متعددة التردد الغنية في خرائط ميزات المشية. أثبتت التجارب على قاعدة البيانات الشهيرة CASIA-B أن GaitMixer يتفوق بكثير على الطرق السابقة القائمة على الهيكل العظمي وحقق أداءً تنافسيًا بالمقارنة مع الحلول القائمة على المظهر الرمزية. سيتم توفير الكود في https://github.com/exitudio/gaitmixer