Les relations entre voisins sont importantes pour la détection des scènes vidéo

La détection de scènes vidéo vise à relier temporellement les plans afin d’obtenir des scènes sémantiquement compactes. Il est essentiel pour cette tâche de capturer l’affinité différenciant les scènes entre les plans par une évaluation de similarité. Toutefois, la plupart des méthodes s’appuient sur des similarités ordinaires entre plans consécutifs, ce qui peut entraîner une liaison inappropriée de plans similaires appartenant à des scènes différentes, tout en empêchant des plans dissimilaires mais appartenant à la même scène de se fusionner correctement. Dans cet article, nous proposons NeighborNet, une méthode qui injecte des contextes de plan dans les similarités entre plans en explorant soigneusement les relations entre les voisins sémantiques et temporels des plans sur une période temporelle locale. Ainsi, les similarités entre plans sont réévaluées comme des similarités conscientes des voisins sémantiques/temporels, permettant à NeighborNet d’apprendre des embeddings contextuels intégrés aux caractéristiques des plans grâce à un réseau de convolution sur graphe. En conséquence, les caractéristiques de plans apprises non seulement réduisent l’affinité entre plans similaires provenant de scènes différentes, mais renforcent également l’affinité entre plans dissimilaires appartenant à la même scène. Les résultats expérimentaux sur des jeux de données publics montrent que notre méthode NeighborNet permet des améliorations significatives dans la détection de scènes vidéo, dépassant notamment les états de l’art publiés d’au moins 6 % en précision moyenne (AP). Le code source est disponible à l’adresse suivante : https://github.com/ExMorgan-Alter/NeighborNet.