Indices d'action contextuels issus du capteur caméra pour la reconnaissance d'actions multi-flux

Dans la recherche sur la reconnaissance d’actions, deux types principaux d’informations sont exploités : l’information d’apparence et l’information de mouvement, apprises à partir d’images RGB capturées par des capteurs visuels. Toutefois, selon les caractéristiques de l’action, des informations contextuelles — telles que la présence d’objets spécifiques ou des informations partagées globalement dans l’image — deviennent essentielles pour définir l’action. Par exemple, la présence du ballon constitue une information cruciale pour distinguer « taper un ballon » de « courir ». En outre, certaines actions partagent des postures globales abstraites typiques, pouvant servir de clé pour leur classification. À partir de ces observations, nous proposons un modèle de réseau multi-flux, intégrant des indices spatiaux, temporels et contextuels présents dans l’image pour la reconnaissance d’actions. Nous avons évalué la méthode proposée en utilisant C3D ou le réseau convolutif 3D gonflé (I3D) comme architecture principale, sur deux jeux de données distincts pour la reconnaissance d’actions. Les résultats montrent une amélioration globale de la précision, démontrant ainsi l’efficacité de notre approche.