Réseaux LSTM à attention consciente du contexte global pour la reconnaissance d’actions 3D

Les réseaux LSTM (Long Short-Term Memory) ont démontré des performances supérieures dans la reconnaissance d’actions humaines 3D grâce à leur capacité à modéliser les dynamiques et les dépendances présentes dans les données séquentielles. Étant donné que non toutes les articulations sont pertinentes pour l’analyse des actions, et que les articulations non pertinentes introduisent souvent un fort bruit, il est essentiel de prêter une attention accrue aux articulations informatives. Toutefois, le LSTM original ne possède pas une capacité d’attention forte. Nous proposons donc une nouvelle classe de réseau LSTM, appelée GCA-LSTM (Global Context-Aware Attention LSTM), dédiée à la reconnaissance d’actions 3D, capable de se concentrer sélectivement sur les articulations informatives au cours de la séquence d’actions, grâce à l’apport d’informations contextuelles globales. Afin d’obtenir une représentation d’attention fiable pour la séquence d’actions, nous introduisons également un mécanisme d’attention récurrent, qui améliore itérativement les performances d’attention au sein de notre réseau GCA-LSTM. Les expérimentations montrent que notre réseau end-to-end parvient à se concentrer de manière fiable sur les articulations les plus informatives à chaque trame de la séquence squelettique. En outre, notre architecture atteint des performances de pointe sur trois jeux de données exigeants pour la reconnaissance d’actions 3D.