HyperAIHyperAI

Command Palette

Search for a command to run...

Console
il y a 21 heures

V-RGBX : Édition vidéo avec un contrôle précis des propriétés intrinsèques

Ye Fang Tong Wu Valentin Deschaintre Duygu Ceylan Iliyan Georgiev Chun-Hao Paul Huang Yiwei Hu Xuelin Chen Tuanfeng Yang Wang

Résumé

Les modèles de génération vidéo à grande échelle ont démontré un potentiel remarquable dans la modélisation des apparences photoréalistes et des interactions lumineuses dans des scènes du monde réel. Toutefois, un cadre bouclé permettant de comprendre conjointement les propriétés intrinsèques de la scène (par exemple, l'albédo, les normales, les matériaux et l'irradiance), d'utiliser ces informations pour la synthèse vidéo, et de supporter des représentations intrinsèques éditables reste largement inexploré. Nous présentons V-RGBX, le premier cadre end-to-end pour l'édition vidéo consciente des propriétés intrinsèques. V-RGBX intègre trois capacités clés : (1) la rendu inverse vidéo vers des canaux intrinsèques, (2) la synthèse vidéo photoréaliste à partir de ces représentations intrinsèques, et (3) l'édition vidéo basée sur des images-clés conditionnées par les canaux intrinsèques. Au cœur de V-RGBX se trouve un mécanisme d'encodage entrelacé qui permet une édition vidéo intuitive et physiquement fondée grâce à des images-clés sélectionnées par l'utilisateur, tout en permettant une manipulation flexible de toute modalité intrinsèque. Des résultats qualitatifs et quantitatifs étendus montrent que V-RGBX produit des vidéos temporellement cohérentes et photoréalistes, tout en propageant les modifications apportées aux images-clés de manière physiquement plausible à travers les séquences. Nous démontrons son efficacité dans diverses applications, notamment l'édition de l'apparence d'objets et le re-éclairage à l'échelle de la scène, surpassant les performances des méthodes antérieures.

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp