Qu'y a-t-il dans le flux ? Exploitation des indices de mouvement temporel pour la détection non supervisée de frontières d'événements génériques

La tâche de détection générique des frontières d'événements (GEBD) vise à reconnaître des frontières génériques, indépendantes de la taxonomie, qui segmentent une vidéo en événements significatifs. Les méthodes actuelles impliquent généralement un modèle neuronal formé sur un grand volume de données, nécessitant une puissance de calcul et une capacité de stockage considérables. Nous explorons deux questions cruciales liées au GEBD : les algorithmes non paramétriques peuvent-ils surpasser les méthodes neuronales non supervisées ? L'information de mouvement seule suffit-elle pour obtenir des performances élevées ? Cette enquête nous pousse à exploiter algorithmiquement les indices de mouvement pour identifier les frontières d'événements génériques dans les vidéos. Dans ce travail, nous proposons FlowGEBD, une technique non paramétrique et non supervisée pour le GEBD. Notre approche comprend deux algorithmes utilisant le flux optique : (i) Suivi des pixels et (ii) Normalisation du flux. En menant des expérimentations approfondies sur les jeux de données difficiles Kinetics-GEBD et TAPOS, nos résultats établissent FlowGEBD comme la nouvelle référence en matière de méthodes non supervisées (SOTA). FlowGEBD dépasse les modèles neuronaux sur le jeu de données Kinetics-GEBD en obtenant un score [email protected] de 0,713 avec un gain absolu de 31,7 % par rapport à la méthode baseline non supervisée et atteint un score F1 moyen de 0,623 sur le jeu de données de validation TAPOS.