Reconnaissance d’actions Gagnant-Perdant

Les systèmes actuels de compréhension vidéo/action ont démontré des performances impressionnantes sur de grandes tâches de reconnaissance. Toutefois, ils pourraient se limiter à apprendre à reconnaître des motifs spatio-temporels, plutôt que d’essayer de comprendre véritablement les actions. Afin de stimuler les progrès vers une compréhension plus authentique et plus profonde des vidéos, nous introduisons la tâche de reconnaissance d’actions « succès-échec » — c’est-à-dire distinguer entre des tentatives réussies et infructueuses dans diverses activités. Nous présentons le premier jeu de données dédié à la compréhension d’actions « succès-échec », comprenant des échantillons issus des domaines suivants : « Cascades générales », « Succès-Échecs sur Internet », « Coups spectaculaires » et « Jeux de fête ». Contrairement aux jeux de données existants de reconnaissance d’actions, la variation intra-classe est élevée, ce qui rend la tâche difficile mais toutefois réalisable. Nous analysons systématiquement les caractéristiques de cette tâche et de ce jeu de données à l’aide de réseaux de reconnaissance d’actions typiques et d’une nouvelle tâche de recherche vidéo. Bien que les méthodes actuelles de reconnaissance d’actions fonctionnent raisonnablement bien sur notre tâche et notre jeu de données, un écart important subsiste pour atteindre des performances élevées. Nous espérons ainsi inciter davantage de recherches vers une véritable compréhension des actions et des vidéos. Le jeu de données sera disponible à l’adresse suivante : https://github.com/ParitoshParmar/Win-Fail-Action-Recognition.