Command Palette
Search for a command to run...
Timeception pour la Reconnaissance d'Actions Complexes
Timeception pour la Reconnaissance d'Actions Complexes
Hussein Noureldien ; Gavves Efstratios ; Smeulders Arnold W. M.
Résumé
Ce travail se concentre sur l'aspect temporel pour la reconnaissance des activités humaines dans les vidéos, une indication visuelle importante qui a longtemps été sous-estimée. Nous réexaminons la définition conventionnelle de l'activité et la restreignons aux Actions Complexes : un ensemble d'actions simples dotées d'un modèle temporel faible servant à un objectif spécifique.Les travaux connexes utilisent des convolutions spatio-temporelles 3D avec une taille de noyau fixe, trop rigides pour capturer les variations dans les étendues temporelles des actions complexes, et trop courtes pour modéliser les dépendances temporelles à long terme. En revanche, nous utilisons des convolutions temporelles multi-échelles et réduisons la complexité des convolutions 3D. Le résultat est une couche de convolution appelée Timeception, capable de raisonner sur des motifs temporels de plusieurs minutes, soit huit fois plus long que le meilleur des travaux connexes.En conséquence, Timeception atteint une précision impressionnante dans la reconnaissance des activités humaines dans les jeux de données Charades, Breakfast Actions et MultiTHUMOS. De plus, nous démontrons que Timeception apprend les dépendances temporelles à long terme et tolère les variations d'étendue temporelle des actions complexes.