Ziqi Huang Ning Yu Gordon Chen Haonan Qiu Paul Debevec Ziwei Liu

Résumé

Les modèles récents de génération vidéo parviennent à produire des séquences fluides et visuellement attrayantes, mais peinent souvent à synthétiser des dynamiques complexes au sein d’une chaîne cohérente de conséquences. La modélisation précise des résultats visuels et des transitions d’état au fil du temps reste un défi fondamental. À l’inverse, les grands modèles linguistiques et multimodaux (par exemple, GPT-4o) démontrent une capacité remarquable à raisonner sur les états visuels et à prédire l’avenir. Pour combiner ces forces, nous introduisons VChain, un cadre novateur de chaîne de raisonnement visuel au moment de l’inférence, qui injecte des signaux de raisonnement visuel provenant de modèles multimodaux dans le processus de génération vidéo. Plus précisément, VChain inclut une chaîne dédiée qui exploite des grands modèles multimodaux afin de générer un ensemble épars de cadres clés cruciaux, servant de captures d’état, lesquels sont ensuite utilisés pour guider une mise au point éparsée du générateur vidéo pré-entraîné uniquement à ces instants clés. Notre approche est efficace en matière d’ajustement, introduit un surcoût minimal et évite toute supervision dense. Des expérimentations étendues sur des scénarios complexes et à plusieurs étapes montrent que VChain améliore significativement la qualité des vidéos générées.