Effet Ken Burns 3D à partir d'une seule image

L’effet Ken Burns permet d’animer des images fixes grâce à un balayage virtuel de caméra et un zoom. L’ajout d’un parallaxe, qui donne naissance à l’effet Ken Burns en 3D, permet d’obtenir des résultats nettement plus percutants. La création manuelle de tels effets est cependant longue et exige des compétences avancées en édition. Les méthodes automatiques existantes, quant à elles, nécessitent plusieurs images d’entrée provenant de points de vue différents. Dans cet article, nous proposons un cadre permettant de synthétiser l’effet Ken Burns en 3D à partir d’une seule image, offrant à la fois un mode entièrement automatique et un mode interactif où l’utilisateur contrôle la caméra. Notre cadre exploite tout d’abord une chaîne de prédiction de profondeur, capable d’estimer la profondeur de la scène de manière adaptée aux tâches de synthèse de vue. Pour surmonter les limitations des méthodes actuelles de prédiction de profondeur — telles que les distorsions géométriques, les distorsions sémantiques et les frontières de profondeur inexactes — nous avons conçu un réseau neuronal conscient du contexte sémantique, associé à un processus d’ajustement de profondeur basé sur la segmentation, et intégré à un réseau de raffinement permettant des prédictions précises de profondeur aux frontières des objets. À partir de cette estimation de profondeur, notre cadre projette l’image d’entrée sur un nuage de points, puis synthétise les cadres vidéo en rendant ce nuage depuis les positions correspondantes de la caméra. Pour traiter les disocclusions tout en préservant une cohérence géométrique et temporelle des résultats, nous utilisons une interpolation contextuelle de couleur et de profondeur afin de combler les informations manquantes dans les vues extrêmes du trajet de caméra, étendant ainsi la géométrie de la scène du nuage de points. Des expériences menées sur une large variété de contenus d’images démontrent que notre méthode permet des résultats de synthèse réalistes. Notre étude montre que notre système permet aux utilisateurs d’obtenir des résultats supérieurs tout en exigeant peu d’effort par rapport aux solutions existantes pour la création de l’effet Ken Burns en 3D.