التعرف على المشية في البيئة الطبيعية باستخدام التمثيلات ثلاثية الأبعاد الكثيفة وقاعدة معايير مرجعية

دراسات التعرف على المشية الحالية تهيمن عليها تمثيلات ثنائية الأبعاد مثل مخطط الظل أو الهيكل العظمي للجسم البشري في مشاهد مقيدة. ومع ذلك، يعيش البشر ويسيرون في الفضاء ثلاثي الأبعاد غير المقيد، لذا فإن إسقاط الجسم البشري ثلاثي الأبعاد على المستوى ثنائي الأبعاد سيؤدي إلى التخلص من الكثير من المعلومات الحاسمة مثل زاوية الرؤية والشكل والديناميكيات للتعرف على المشية. لذلك، تهدف هذه الورقة إلى استكشاف التمثيلات الكثيفة ثلاثية الأبعاد للتعرف على المشية في البيئات الطبيعية، وهي مشكلة عملية ولكنها محroma. بشكل خاص، نقترح إطارًا جديدًا يستخدم نموذج 3D Skinned Multi-Person Linear (SMPL) للجسم البشري للتعرف على المشية، ونطلق عليه اسم SMPLGait. يتكون الإطار الخاص بنا من فرعين مصممين بدقة، أحدهما يستخرج الخصائص المرئية من مخططات الظل، والآخر يتعلم معرفة زوايا الرؤية الثلاثية الأبعاد والأشكال من نموذج SMPL ثلاثي الأبعاد. بالإضافة إلى ذلك، بسبب نقص المجموعات المناسبة للبيانات، قمنا ببناء أول مجموعة بيانات كبيرة للتعرف على المشية تستند إلى التمثيل الثلاثي الأبعاد، وسميناه Gait3D. تحتوي هذه المجموعة على 4,000 موضوع وأكثر من 25,000 سلسلة مستخرجة من 39 كاميرا في مشهد داخلي غير مقيد. وأهم من ذلك أنها توفر نماذج SMPL ثلاثية الأبعاد مستعادة من الإطارات الفيديو والتي يمكن أن توفر معلومات كثيفة ثلاثية الأبعاد حول شكل الجسم وزاوية الرؤية والديناميكيات. بناءً على Gait3D، قمنا بمقارنة شاملة بين طريقتنا والنماذج الموجودة للتعرف على المشية، مما يعكس أداء الإطار الخاص بنا المتفوق وإمكانات التمثيلات الثلاثية الأبعاد للتعرف على المشية في البيئات الطبيعية. يمكن الوصول إلى الكود ومجموعة البيانات عبر الرابط https://gait3d.github.io.