تمثيل جديد للسلاسل الهيكلية لتمييز الأفعال في ثلاثية الأبعاد

يقدم هذا البحث طريقة جديدة لتمييز الأنشطة ثلاثية الأبعاد باستخدام سلاسل الهيكل العظمي (أي، مسارات المفاصل العظمية للإنسان ثلاثية الأبعاد). تتضمن الطريقة المقترحة تحويل كل سلسلة هيكل عظمي إلى ثلاثة مقاطع فيديو، كل منها يتكون من عدة إطارات لتعلم الخصائص الزمانية والمكانية باستخدام الشبكات العصبية العميقة. يتم توليد كل مقطع فيديو من قناة واحدة من الإحداثيات الأسطوانية لسلسلة الهكل العظمي. تمثل كل إطار من الإطارات المُولَدة المعلومات الزمنية لجميع سلسلة الهيكل العظمي، وتحتوي على علاقة مكانية معينة بين المفاصل. تشمل جميع المقاطع الفيديو إطارات متعددة ذات علاقات مكانية مختلفة، مما يوفر معلومات بنائية مكانية مفيدة عن هيكل الإنسان العظمي. نقترح استخدام الشبكات العصبية التلافيفية العميقة لتعلم المعلومات الزمنية طويلة الأمد من الإطارات المُولَدة للمقاطع الفيديو، ثم استخدام شبكة التعلم المتعدد المهام (Multi-Task Learning Network - MTLN) لمعالجة جميع الإطارات المُولَدة للمقاطع الفيديو بشكل متوازي بهدف دمج المعلومات البنائية المكانية لتمييز الأنشطة. تظهر النتائج التجريبية بوضوح فعالية التمثيل الجديد وطريقة تعلم الخصائص المقترحين لتمييز الأنشطة ثلاثية الأبعاد.