HyperAIHyperAI

Command Palette

Search for a command to run...

V-RGBX : Édition vidéo avec un contrôle précis des propriétés intrinsèques

Ye Fang Tong Wu Valentin Deschaintre Duygu Ceylan Iliyan Georgiev Chun-Hao Paul Huang Yiwei Hu Xuelin Chen Tuanfeng Yang Wang

Résumé

Les modèles de génération vidéo à grande échelle ont démontré un potentiel remarquable dans la modélisation des apparences photoréalistes et des interactions lumineuses dans des scènes du monde réel. Toutefois, un cadre bouclé permettant de comprendre conjointement les propriétés intrinsèques de la scène (par exemple, l'albédo, les normales, les matériaux et l'irradiance), d'utiliser ces informations pour la synthèse vidéo, et de supporter des représentations intrinsèques éditables reste largement inexploré. Nous présentons V-RGBX, le premier cadre end-to-end pour l'édition vidéo consciente des propriétés intrinsèques. V-RGBX intègre trois capacités clés : (1) la rendu inverse vidéo vers des canaux intrinsèques, (2) la synthèse vidéo photoréaliste à partir de ces représentations intrinsèques, et (3) l'édition vidéo basée sur des images-clés conditionnées par les canaux intrinsèques. Au cœur de V-RGBX se trouve un mécanisme d'encodage entrelacé qui permet une édition vidéo intuitive et physiquement fondée grâce à des images-clés sélectionnées par l'utilisateur, tout en permettant une manipulation flexible de toute modalité intrinsèque. Des résultats qualitatifs et quantitatifs étendus montrent que V-RGBX produit des vidéos temporellement cohérentes et photoréalistes, tout en propageant les modifications apportées aux images-clés de manière physiquement plausible à travers les séquences. Nous démontrons son efficacité dans diverses applications, notamment l'édition de l'apparence d'objets et le re-éclairage à l'échelle de la scène, surpassant les performances des méthodes antérieures.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp