Shape-for-Motion : Édition vidéo précise et cohérente avec un proxy 3D

Les récentes avancées dans les modèles de génération profonde ont ouvert des opportunités sans précédent pour la synthèse vidéo. Cependant, dans les applications réelles, les utilisateurs recherchent souvent des outils capables de réaliser fidèlement leurs intentions créatives avec un contrôle précis et cohérent. Malgré les progrès réalisés par les méthodes existantes, garantir une correspondance fine avec les intentions des utilisateurs reste un problème ouvert et difficile. Dans ce travail, nous présentons Shape-for-Motion, un cadre novateur qui intègre un proxy 3D pour une édition vidéo précise et cohérente. Shape-for-Motion atteint cet objectif en convertissant l'objet cible dans la vidéo d'entrée en un maillage temporellement cohérent, c'est-à-dire un proxy 3D, permettant d'effectuer des modifications directement sur le proxy avant de les inférer aux images de la vidéo. Pour simplifier le processus d'édition, nous avons conçu une nouvelle Stratégie de Propagation Double qui permet aux utilisateurs d'effectuer des modifications sur le maillage 3D d'une seule image, ces modifications étant ensuite propagées automatiquement aux maillages 3D des autres images. Les maillages 3D pour différentes images sont projetés davantage sur l'espace 2D afin de produire des rendus géométriques et texturés édités, qui servent d'entrées à un modèle de diffusion vidéo décorrélé pour générer des résultats édités. Notre cadre prend en charge diverses manipulations précises et physiquement cohérentes à travers les images de la vidéo, y compris l'édition de posture (pose editing), la rotation, l'échelle (scaling), la translation (translation), la modification de texture (texture modification) et la composition d'objets (object composition). Notre approche marque une étape clé vers des flux de travail d'édition vidéo de haute qualité et contrôlables. De nombreuses expériences montrent la supériorité et l'efficacité de notre méthode. Page du projet : https://shapeformotion.github.io/