HyperAIHyperAI

Command Palette

Search for a command to run...

HoloCine : Génération holistique de récits vidéo longs en plusieurs plans cinématographiques

Résumé

Les modèles d’état de l’art de génération vidéo à partir de texte excellent dans la création de séquences isolées, mais peinent à produire des récits cohérents composés de plusieurs plans, qui constituent pourtant l’essence du récit narratif. Nous comblons cette « lacune narrative » grâce à HoloCine, un modèle qui génère des scènes entières de manière holistique, garantissant ainsi une cohérence globale du premier plan jusqu’au dernier. Notre architecture permet un contrôle précis de la mise en scène grâce à un mécanisme d’attention croisée par fenêtre, qui localise les instructions textuelles sur des plans spécifiques, tandis qu’un schéma d’attention auto-associative entre plans creux (denses à l’intérieur des plans, mais creux entre eux) assure l’efficacité nécessaire à la génération de séquences de plusieurs minutes. Au-delà de fixer un nouvel état de l’art en matière de cohérence narrative, HoloCine développe des capacités émergentes remarquables : une mémoire persistante des personnages et des décors, ainsi qu’une compréhension intuitive des techniques cinématographiques. Ce travail marque un tournant décisif, passant de la synthèse de clips à la réalisation cinématographique automatisée, rendant ainsi la création cinématographique end-to-end un avenir tangible. Notre code est disponible à l’adresse suivante : https://holo-cine.github.io/.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp