HyperAIHyperAI

Command Palette

Search for a command to run...

Shape-for-Motion : Édition vidéo précise et cohérente avec un proxy 3D

Yuhao Liu Tengfei Wang Fang Liu Zhenwei Wang Rynson W.H. Lau

Résumé

Les récentes avancées dans les modèles de génération profonde ont ouvert des opportunités sans précédent pour la synthèse vidéo. Cependant, dans les applications réelles, les utilisateurs recherchent souvent des outils capables de réaliser fidèlement leurs intentions créatives avec un contrôle précis et cohérent. Malgré les progrès réalisés par les méthodes existantes, garantir une correspondance fine avec les intentions des utilisateurs reste un problème ouvert et difficile. Dans ce travail, nous présentons Shape-for-Motion, un cadre novateur qui intègre un proxy 3D pour une édition vidéo précise et cohérente. Shape-for-Motion atteint cet objectif en convertissant l'objet cible dans la vidéo d'entrée en un maillage temporellement cohérent, c'est-à-dire un proxy 3D, permettant d'effectuer des modifications directement sur le proxy avant de les inférer aux images de la vidéo. Pour simplifier le processus d'édition, nous avons conçu une nouvelle Stratégie de Propagation Double qui permet aux utilisateurs d'effectuer des modifications sur le maillage 3D d'une seule image, ces modifications étant ensuite propagées automatiquement aux maillages 3D des autres images. Les maillages 3D pour différentes images sont projetés davantage sur l'espace 2D afin de produire des rendus géométriques et texturés édités, qui servent d'entrées à un modèle de diffusion vidéo décorrélé pour générer des résultats édités. Notre cadre prend en charge diverses manipulations précises et physiquement cohérentes à travers les images de la vidéo, y compris l'édition de posture (pose editing), la rotation, l'échelle (scaling), la translation (translation), la modification de texture (texture modification) et la composition d'objets (object composition). Notre approche marque une étape clé vers des flux de travail d'édition vidéo de haute qualité et contrôlables. De nombreuses expériences montrent la supériorité et l'efficacité de notre méthode. Page du projet : https://shapeformotion.github.io/


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp