Synthèse de vues temporelles de scènes dynamiques par estimation du mouvement d'objets 3D à l'aide d'images multi-plan

Le défi consistant à rendre graphiquement des vidéos à haut taux d’images sur des dispositifs à faible puissance de calcul peut être relevé grâce à une prédiction périodique des images futures, afin d’améliorer l’expérience utilisateur dans les applications de réalité virtuelle. Ce problème est étudié dans le cadre de la synthèse temporelle de vues (Temporal View Synthesis, TVS), dont l’objectif est de prédire les images suivantes d’une vidéo à partir des images précédentes ainsi que des positions de tête des images précédentes et suivantes. Dans ce travail, nous nous concentrons sur la TVS de scènes dynamiques, où à la fois l’utilisateur et les objets sont en mouvement. Nous proposons un cadre qui décompose le mouvement en une composante liée à l’utilisateur et une autre liée aux objets, afin d’exploiter efficacement les mouvements de l’utilisateur disponibles lors de la prédiction des images futures. Le mouvement des objets est estimé en isolant et en mesurant le mouvement 3D des objets dans les images précédentes, puis en l’extrapolant. Nous utilisons les images à plusieurs plans (Multi-Plane Images, MPI) comme représentation 3D des scènes, et modélisons le mouvement des objets comme un déplacement 3D entre les points correspondants dans la représentation MPI. Pour traiter la densité insuffisante des MPI lors de l’estimation du mouvement, nous intégrons des couches de convolution partielle et des couches de corrélation masquée afin d’estimer les points correspondants. Le mouvement d’objets prédit est ensuite combiné au mouvement utilisateur ou de caméra fourni pour générer l’image suivante. Un module de remplissage des zones disoccluées est utilisé pour synthétiser les régions mises à nu en raison du mouvement de la caméra et des objets. Nous avons développé un nouveau jeu de données synthétiques pour la TVS de scènes dynamiques, comprenant 800 vidéos en résolution HD complète. Nos expériences sur notre jeu de données ainsi que sur le jeu de données MPI Sintel démontrent que notre modèle surpasser toutes les méthodes concurrentes présentes dans la littérature.