التعرف على حركات الإنسان باستخدام شبكات LSTM المستندة إلى الهيكل العظمي والانتباه الواعي بالسياق العالمي

التعرف على الأنشطة البشرية في تسلسلات الهيكل العظمي ثلاثية الأبعاد قد جذب اهتمامًا بحثيًا كبيرًا. مؤخرًا، أظهرت شبكات الذاكرة طويلة المدى قصيرة المدى (LSTM) أداءً واعدًا في هذه المهمة نظرًا لقدرتها على نمذجة الارتباطات والديناميكيات في البيانات التسلسلية. ومع ذلك، فإن ليس جميع مفاصل الهيكل العظمي تكون ذات فائدة للتعرف على الأنشطة، والمفاصل غير ذات الصلة غالبًا ما تحمل ضوضاء يمكن أن تقلل من الأداء. لذلك، يجب علينا التركيز بشكل أكبر على المفاصل المعلوماتية. ومع ذلك، فإن الشبكة LSTM الأصلية لا تمتلك قدرة انتباه صريحة. في هذا البحث، نقترح فئة جديدة من شبكات LSTM تُسمى LSTM الانتباه الواعي بالسياق العالمي (GCA-LSTM) للتعرف على الأنشطة المستندة إلى الهيكل العظمي. تمتلك هذه الشبكة القدرة على التركيز بشكل اختياري على المفاصل المعلوماتية في كل إطار من إطارات كل سلسلة هيكل عظمي باستخدام خلية ذاكرة السياق العالمي. لتحسين قدرة الانتباه في شبكتنا بشكل أكبر، نقدم أيضًا آلية انتباه متكررة والتي يمكن أن تعزز أداء الانتباه تدريجيًا. بالإضافة إلى ذلك، نقترح مخطط تدريب تدريجي لتدريب شبكتنا بكفاءة. يحقق نهجنا أداءً رائدًا في خمسة مجموعات بيانات مرجعية صعبة للتعرف على الأنشطة المستندة إلى الهيكل العظمي.