Localisation Rapide des Transitions de Plans Vidéo avec des Modèles Structurés Profonds

La détection de la transition de plan vidéo est une étape préliminaire cruciale dans l'analyse vidéo. Les études précédentes se sont concentrées sur la détection des changements soudains de contenu entre les images à travers des mesures de similarité, et les opérations multi-échelles sont largement utilisées pour traiter les transitions de différentes longueurs. Cependant, la localisation des transitions progressives reste sous-explorée en raison de la forte similitude visuelle entre les images adjacentes. Les transitions de coupure (cut shot) sont des ruptures sémantiques brusques, tandis que les transitions progressives contiennent des motifs spatio-temporels de bas niveau causés par les effets vidéo, en plus des ruptures sémantiques progressives, par exemple le fondu (dissolve). Pour résoudre ce problème, nous proposons un réseau structuré capable de détecter ces deux types de transitions à l'aide de modèles ciblés distincts. En tenant compte du compromis entre la vitesse et les performances, nous avons conçu un cadre intelligent. Avec une carte graphique TITAN, notre méthode peut atteindre une vitesse 30 fois supérieure à temps réel. Des expériences menées sur les bases de données publiques TRECVID07 et RAI montrent que notre méthode surpassent les méthodes d'état de l'art. Afin d'entraîner un détecteur de transition de plan haute performance, nous contribuons avec une nouvelle base de données appelée ClipShots, qui contient 128 636 transitions de coupure et 38 120 transitions progressives provenant de 4 039 vidéos en ligne. ClipShots recueille intentionnellement des vidéos courtes pour aborder davantage de cas difficiles dus aux vibrations des caméras portables, aux mouvements importants d'objets et aux occultations.