التعرف على الحركات باستخدام شبكة LSTM الزمانية-المكانية مع بوابات الثقة
التعرف على أفعال الإنسان باستخدام الهيكل العظمي قد جذب اهتمامًا بحثيًا كبيرًا خلال السنوات القليلة الماضية. حاولت الدراسات الحديثة استخدام الشبكات العصبية التكرارية لنمذجة الارتباطات الزمنية بين تكوينات المواقع ثلاثية الأبعاد لمفاصل الجسم البشري لتحقيق تحليل أفضل لأنشطة الإنسان في بيانات الهيكل العظمي. يوسع العمل المقترح هذه الفكرة إلى المجال المكاني بالإضافة إلى المجال الزمني، مما يساعد على تحليل مصادر المعلومات المتعلقة بالأفعال بشكل أفضل داخل سلاسل هيكل عظمي الإنسان في كلا المجالين معًا. بناءً على البنية الصورية لبيانات الهكل العظمي من Kinect، تم اقتراح إطار عمل فعال يستند إلى البنية الشجرية للجولة. لمعالجة الضوضاء في بيانات الهيكل العظمي، تم تقديم آلية بوابة جديدة داخل وحدة LSTM، والتي يمكن للشبكة من خلالها تعلم مدى موثوقية البيانات المتتابعة وتعديل تأثير البيانات الواردة على عملية تحديث التمثيل السياقي طويل الأمد المخزن في خلية ذاكرة الوحدة وفقًا لذلك. بالإضافة إلى ذلك، نقدم في هذا البحث استراتيجية جديدة لدمج الخصائص متعددة الأوضاع داخل وحدة LSTM. تظهر النتائج التجريبية الشاملة على سبعة مجموعات بيانات مرجعية صعبة للتعرف على أفعال الإنسان فعالية الطريقة المقترحة.