Détection précise et rapide des limites de plans à grande échelle grâce aux réseaux neuronaux convolutifs spatio-temporels

La détection des limites de plans (SBD) est une étape de prétraitement importante pour la manipulation vidéo. Ici, chaque segment d'images est classifié comme étant soit une transition nette, progressive ou nulle. Les techniques actuelles de SBD analysent des caractéristiques conçues manuellement et tentent d'optimiser à la fois la précision de détection et la vitesse de traitement. Cependant, les calculs intensifs du flux optique empêchent cela. Pour atteindre cet objectif, nous présentons une technique de SBD basée sur des réseaux neuronaux convolutifs spatio-temporels (CNN). Comme les ensembles de données actuels ne sont pas assez volumineux pour entraîner un CNN de SBD précis, nous proposons un nouveau jeu de données contenant plus de 3,5 millions d'images représentant des transitions nettes et progressives. Ces transitions sont générées synthétiquement à l'aide de modèles de composition d'images. Notre ensemble de données comprend également 70 000 images supplémentaires représentant des transitions nulles importantes et difficiles à détecter (hard-negative no transitions). Nous effectuons l'évaluation la plus importante à ce jour pour un algorithme de SBD, sur des données réelles et synthétiques, comprenant plus de 4,85 millions d'images. Par rapport à l'état de l'art, nous surpassons la détection des transitions progressives par dissolution (dissolve), obtenons des performances compétitives pour les détections nettes et apportons une amélioration significative dans le cas des balayages (wipes). De plus, notre méthode est jusqu'à 11 fois plus rapide que l'état de l'art.