HyperAIHyperAI

Command Palette

Search for a command to run...

Console
il y a 4 jours

Préservation de la réalisme vidéo source : remplacement de visage haute fidélité pour une qualité cinématographique

Zekai Luo Zongze Du Zhouhang Zhu Hao Zhong Muzhi Zhu Wen Wang Yuling Xi Chenchen Jing Hao Chen Chunhua Shen

Préservation de la réalisme vidéo source : remplacement de visage haute fidélité pour une qualité cinématographique

Résumé

Le swapping de visages vidéo est essentiel dans la production cinématographique et de divertissement, où atteindre une fidélité élevée et une cohérence temporelle sur des séquences vidéo longues et complexes demeure un défi majeur. Inspirés par les avancées récentes dans le traitement d’images guidé par une référence, nous explorons si des attributs visuels riches extraits des vidéos sources peuvent être exploités de manière similaire pour améliorer à la fois la fidélité et la cohérence temporelle dans le swapping de visages vidéo. Partant de cette idée, ce travail présente LivingSwap, le premier modèle de swapping de visages vidéo guidé par une référence vidéo. Notre approche utilise des images-clés comme signaux de conditionnement afin d’introduire l’identité cible, permettant ainsi un édition flexible et contrôlable. En combinant la conditionnalité par images-clés avec une guidance par référence vidéo, le modèle réalise un assemblage temporel afin de garantir une préservation stable de l’identité et une reconstruction de haute fidélité sur de longues séquences vidéo. Pour pallier la rareté des données disponibles pour l’entraînement guidé par référence, nous avons construit un jeu de données apparié pour le swapping de visages, nommé Face2Face, et avons inversé les paires de données afin d’assurer une supervision de vérité terrain fiable. Des expériences étendues démontrent que notre méthode atteint des résultats de pointe, intégrant de manière transparente l’identité cible aux expressions, à l’éclairage et au mouvement de la vidéo source, tout en réduisant considérablement l’effort manuel dans les flux de production. Page du projet : https://aim-uofa.github.io/LivingSwap

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Préservation de la réalisme vidéo source : remplacement de visage haute fidélité pour une qualité cinématographique | Articles de recherche | HyperAI