Résumé

Les modèles d’état de l’art de génération vidéo à partir de texte excellent dans la création de séquences isolées, mais peinent à produire des récits cohérents composés de plusieurs plans, qui constituent pourtant l’essence du récit narratif. Nous comblons cette « lacune narrative » grâce à HoloCine, un modèle qui génère des scènes entières de manière holistique, garantissant ainsi une cohérence globale du premier plan jusqu’au dernier. Notre architecture permet un contrôle précis de la mise en scène grâce à un mécanisme d’attention croisée par fenêtre, qui localise les instructions textuelles sur des plans spécifiques, tandis qu’un schéma d’attention auto-associative entre plans creux (denses à l’intérieur des plans, mais creux entre eux) assure l’efficacité nécessaire à la génération de séquences de plusieurs minutes. Au-delà de fixer un nouvel état de l’art en matière de cohérence narrative, HoloCine développe des capacités émergentes remarquables : une mémoire persistante des personnages et des décors, ainsi qu’une compréhension intuitive des techniques cinématographiques. Ce travail marque un tournant décisif, passant de la synthèse de clips à la réalisation cinématographique automatisée, rendant ainsi la création cinématographique end-to-end un avenir tangible. Notre code est disponible à l’adresse suivante : https://holo-cine.github.io/.