Évaluation de la Reconnaissance des Micro-actions : Jeu de Données, Méthodes et Applications
La micro-action est un comportement non verbal imperceptible caractérisé par des mouvements de faible intensité. Elle offre des perspectives sur les sentiments et les intentions des individus et est cruciale pour les applications orientées vers l'humain, telles que la reconnaissance émotionnelle et l'évaluation psychologique. Cependant, l'identification, la différenciation et la compréhension des micro-actions posent des défis en raison de la nature subtile, imperceptible et inaccessible de ces comportements humains dans la vie quotidienne. Dans cette étude, nous collectons innovamment un nouveau jeu de données de micro-actions nommé Micro-action-52 (MA-52) et proposons une référence appelée réseau de micro-actions (MANet) pour la tâche de reconnaissance de micro-actions (MAR). De manière unique, le MA-52 fournit une perspective holistique du corps entier, incluant les gestes, les mouvements des membres supérieurs et inférieurs, visant à révéler des indices de micro-actions complets. Plus précisément, le MA-52 comprend 52 catégories de micro-actions ainsi que sept étiquettes de parties du corps, englobant une gamme complète d'actions micro-réalistes et naturelles issues d'entretiens psychologiques impliquant 205 participants et 22 422 séquences vidéo.Sur la base du jeu de données proposé, nous évaluons MANet ainsi que neuf autres méthodes prévalentes de reconnaissance d'actions. MANet intègre les modules squeeze-and-excitation (SE) et temporal shift module (TSM) dans l'architecture ResNet pour modéliser les caractéristiques spatio-temporelles des micro-actions. Ensuite, une perte d'emboîtement conjoint est conçue pour l'appariement sémantique entre les vidéos et les étiquettes d'action ; cette perte permet une meilleure distinction entre des catégories de micro-actions visuellement similaires mais distinctes. L'application étendue à la reconnaissance émotionnelle a démontré l'une des valeurs importantes de notre jeu de données et méthode proposés. À l'avenir, une exploration plus approfondie du comportement humain, des émotions et de l'évaluation psychologique sera menée. Le jeu de données et le code source sont disponibles à l'adresse suivante : https://github.com/VUT-HFUT/Micro-Action.