Command Palette
Search for a command to run...
Home Action Genome : Compréhension coopérative et compositionnelle des actions
Home Action Genome : Compréhension coopérative et compositionnelle des actions
Nishant Rai Haofeng Chen Jingwei Ji Rishi Desai Kazuki Kozuka Shun Ishizaka Ehsan Adeli Juan Carlos Niebles
Résumé
Les recherches existantes sur la reconnaissance d’actions traitent les activités comme des événements monolithiques se produisant dans des vidéos. Récemment, les avantages de formuler les actions comme une combinaison d’actions atomiques ont montré un réel potentiel pour améliorer la compréhension des actions, notamment avec l’émergence de jeux de données contenant de telles annotations, permettant d’apprendre des représentations capturant cette information. Toutefois, il manque encore des études qui étendent la composition d’actions et exploitent simultanément plusieurs points de vue et plusieurs modalités de données pour l’apprentissage de représentations. Afin de stimuler la recherche dans cette direction, nous introduisons Home Action Genome (HOMAGE) : un jeu de données d’actions multi-vues et multi-modales, enrichi d’étiquettes hiérarchiques d’activités et d’actions atomiques, ainsi que de labels détaillés de composition scénique. En exploitant un cadre riche en modalités et en points de vue, nous proposons CCAU (Cooperative Compositional Action Understanding), un cadre d’apprentissage coopératif pour la reconnaissance hiérarchique d’actions, prenant explicitement en compte les éléments composés des actions. CCAU montre des améliorations de performance constantes sur toutes les modalités. En outre, nous démontrons l’efficacité de l’apprentissage coopératif des compositions dans le cadre de la reconnaissance d’actions en peu d’exemples, en atteignant un mAP de 28,6 % avec seulement un échantillon.