Modèle de mouvement d'ordre un pour l'animation d'images

L'animation d'images consiste à générer une séquence vidéo de manière à animer un objet présent dans une image source selon le mouvement d'une vidéo pilote. Notre cadre aborde ce problème sans recourir à aucune annotation ni à aucune information a priori concernant l'objet spécifique à animer. Une fois entraîné sur un ensemble de vidéos représentant des objets de même catégorie (par exemple, des visages, des corps humains), notre méthode peut être appliquée à n'importe quel objet de cette catégorie. Pour atteindre cet objectif, nous décomposons de manière autonome les informations d'apparence et de mouvement grâce à une formulation auto-supervisée. Pour prendre en charge des mouvements complexes, nous utilisons une représentation basée sur un ensemble de points clés appris, accompagnés de leurs transformations affines locales. Un réseau générateur modélise les occlusions survenant durant les mouvements cibles et combine l'apparence extraite de l'image source avec le mouvement dérivé de la vidéo pilote. Notre cadre obtient les meilleurs résultats sur diverses benchmarks et pour une large variété de catégories d'objets. Le code source est disponible publiquement.