شبكات انتباه LSTM ذات وعي بالسياق العالمي للتعرف على الحركات الثلاثية الأبعاد

أظهرت شبكات الذاكرة طويلة القصيرة (LSTM) أداءً متفوقًا في تمييز الحركات البشرية ثلاثية الأبعاد بفضل قدرتها على نمذجة الديناميكيات والاعتماديات في البيانات التسلسلية. وبما أن ليس كل مفاصل الجسم مفيدة لتحليل الحركة، وأن المفاصل غير ذات الصلة تُحدث غالبًا ضجيجًا كبيرًا، لذا يتعين علينا الانتباه بشكل أكبر إلى المفاصل المفيدة. ومع ذلك، فإن الشبكة الأصلية LSTM لا تمتلك قدرة قوية على الانتباه. لذلك، نقترح فئة جديدة من شبكات LSTM، تُسمى LSTM ذات انتباه مُدرك للسياق العالمي (GCA-LSTM)، لتمييز الحركات ثلاثية الأبعاد، والتي تُتيح التركيز المختار على المفاصل المفيدة في التسلسل الحركي بمساعدة المعلومات السياقية العالمية. ولتحقيق تمثيل موثوق للانتباه في التسلسل الحركي، نقترح أيضًا آلية انتباه متكررة لشبكتنا GCA-LSTM، حيث يتم تحسين أداء الانتباه بشكل تدريجي عبر التكرارات. تُظهر التجارب أن شبكتنا النهائية المبنية على النموذج الكامل (end-to-end) قادرة على التركيز بشكل موثوق على المفاصل الأكثر إفادة في كل إطار من إطارات تسلسل الهيكل العظمي. علاوةً على ذلك، تُحقّق شبكتنا أداءً متقدمًا في مستوى التقنيات الحالية على ثلاث مجموعات بيانات صعبة لتمييز الحركات ثلاثية الأبعاد.