GEB+ : Un Benchmark pour la Légendisation, l'Ancrage et la Recherche de Frontières d'Événements Génériques

La science cognitive a démontré que les humains perçoivent les vidéos en termes d'événements séparés par les changements d'état des sujets dominants. Ces changements d'état déclenchent de nouveaux événements et sont parmi les informations les plus utiles dans la grande quantité d'informations redondantes perçues. Cependant, les recherches précédentes se concentrent sur la compréhension globale des segments sans évaluer les changements d'état fins à l'intérieur. Dans cet article, nous présentons un nouveau jeu de données appelé Kinetic-GEB+. Ce jeu de données comprend plus de 170 000 frontières associées à des légendes décrivant les changements d'état dans des événements génériques de 12 000 vidéos. À partir de ce nouveau jeu de données, nous proposons trois tâches visant à soutenir le développement d'une compréhension plus fine, robuste et humaine des vidéos grâce aux changements d'état. Nous évaluons de nombreuses méthodes baselines représentatives dans notre jeu de données, où nous avons également conçu une nouvelle méthode de modélisation TPD (Temporal-based Pairwise Difference) pour la différence visuelle, obtenant ainsi des améliorations significatives des performances. De plus, les résultats montrent qu'il reste encore des défis importants pour les méthodes actuelles en matière d'utilisation de différentes granularités, de représentation de la différence visuelle et de localisation précise des changements d'état. Une analyse supplémentaire révèle que notre jeu de données peut stimuler le développement de méthodes plus puissantes pour comprendre les changements d'état et ainsi améliorer la compréhension au niveau vidéo. Le jeu de données comprenant à la fois les vidéos et les frontières est disponible à l'adresse suivante : https://yuxuan-w.github.io/GEB-plus/