Captain Cinema : Vers la génération de courts métrages

Nous présentons Captain Cinema, un cadre de génération destiné à la création de courts métrages.Étant donné une description textuelle détaillée du scénario d’un film, notre approche génère d’abord une séquence de plans-clés (keyframes) qui résument l’ensemble du récit, ce qui assure une cohérence à long terme tant au niveau du scénario que de l’apparence visuelle (par exemple, les scènes et les personnages). Nous appelons cette étape la planification des plans-clés en haut vers le bas (top-down keyframe planning).Ces plans-clés servent ensuite de signaux de conditionnement pour un modèle de synthèse vidéo, qui permet d’apprendre des contextes longs, afin de produire les dynamiques spatio-temporelles entre eux. Cette étape est appelée synthèse vidéo en bas vers le haut (bottom-up video synthesis).Afin de soutenir la génération stable et efficace de longs récits cinématographiques composés de plusieurs scènes, nous introduisons une stratégie d’entraînement alterné (interleaved training strategy) pour les Transformers multimodaux (Multimodal Diffusion Transformers, MM-DiT), spécifiquement adaptée aux données vidéo à long contexte.Notre modèle est entraîné sur un jeu de données cinématographiques spécialement curaté, composé de paires de données alternées.Nos expériences montrent que Captain Cinema se distingue favorablement dans la création automatisée de courts métrages de haute qualité et de cohérence visuelle et narrative.Page du projet : https://thecinema.ai