Command Palette
Search for a command to run...
Détection incroyablement rapide des limites de plan avec des réseaux neuronaux entièrement convolutionnels
Détection incroyablement rapide des limites de plan avec des réseaux neuronaux entièrement convolutionnels
Gygli Michael
Résumé
La détection des limites de plan (SBD, shot boundary detection) constitue un élément essentiel de nombreuses tâches d’analyse vidéo, telles que la reconnaissance d’actions, l’indexation vidéo, la synthèse ou encore la modification. Les travaux antérieurs ont généralement combiné des caractéristiques de bas niveau, comme les histogrammes de couleur, avec des modèles simples tels que les machines à vecteurs de support (SVM). À la place, nous proposons d’apprendre la détection des limites de plan de manière end-to-end, du niveau des pixels jusqu’aux limites finales des plans. Pour entraîner un tel modèle, nous nous appuyons sur l’observation selon laquelle toutes les limites de plan sont générées. À cette fin, nous avons constitué un jeu de données comprenant un million de cadres, accompagnés de transitions automatiquement générées, telles que les coupures (cuts), les fondues (dissolves) et les fondues enchaînées (fades). Afin d’analyser efficacement des heures de vidéos, nous proposons un réseau de neurones convolutifs (CNN) entièrement convolutif dans le temps, permettant ainsi d’utiliser un large contexte temporel sans avoir à traiter répétitivement les cadres. Grâce à cette architecture, notre méthode atteint des résultats de pointe tout en fonctionnant à une vitesse inédite, dépassant 120 fois la vitesse réelle.