HyperAIHyperAI

Command Palette

Search for a command to run...

Stand-In : un contrôle d'identité léger et plug-and-play pour la génération vidéo

Bowen Xue Qixin Yan Wenjing Wang Hao Liu Chen Li

Résumé

La génération de vidéos humaines de haute fidélité correspondant à une identité spécifiée par l’utilisateur est un enjeu crucial mais difficile dans le domaine de l’intelligence artificielle générative. Les méthodes existantes reposent souvent sur un nombre excessif de paramètres d’entraînement et manquent de compatibilité avec d’autres outils AIGC. Dans cet article, nous proposons Stand-In, un cadre léger et facile à intégrer pour la préservation de l’identité dans la génération vidéo. Plus précisément, nous introduisons une branche d’image conditionnelle dans un modèle pré-entraîné de génération vidéo. Le contrôle d’identité est réalisé grâce à des mécanismes d’attention auto-contrainte associés à une cartographie de position conditionnelle, et peut être appris efficacement à partir de seulement 2 000 paires d’exemples. Malgré l’ajout et l’entraînement de seulement environ 1 % de paramètres supplémentaires, notre cadre obtient des résultats remarquables en termes de qualité vidéo et de fidélité de l’identité, dépassant les méthodes basées sur l’entraînement complet des paramètres. En outre, notre cadre peut être intégré de manière transparente à d’autres tâches, telles que la génération vidéo pilotée par un sujet, la génération vidéo basée sur une posture de référence, la stylisation ou le remplacement facial.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Stand-In : un contrôle d'identité léger et plug-and-play pour la génération vidéo | Articles | HyperAI