Résumé

L'édition vidéo pilotée par des instructions promet de démocratiser la création de contenus, mais son progrès est sévèrement freiné par le manque de données d'entraînement à grande échelle et de haute qualité. Nous introduisons Ditto, un cadre global conçu pour relever ce défi fondamental. Au cœur de Ditto, une nouvelle chaîne de génération de données combine la diversité créative d'un outil d'édition d'images de pointe avec un générateur vidéo contextuel, surmontant ainsi la portée limitée des modèles existants. Pour rendre ce processus viable, notre cadre résout le compromis prohibitif entre coût et qualité en utilisant une architecture de modèle efficace et distillée, complétée par un module d'amélioration temporelle, qui réduit simultanément la charge computationnelle et améliore la cohérence temporelle. Enfin, pour assurer une scalabilité totale, toute cette chaîne est pilotée par un agent intelligent qui formule des instructions variées et filtre rigoureusement les sorties, garantissant un contrôle qualité à grande échelle. Grâce à ce cadre, nous avons consacré plus de 12 000 jours-GPU à la construction de Ditto-1M, un nouveau jeu de données comprenant un million d'exemples d'édition vidéo de haute fidélité. Nous avons entraîné notre modèle, Editto, sur Ditto-1M en adoptant une stratégie d'apprentissage par curriculums. Les résultats démontrent une capacité supérieure à suivre les instructions et établissent un nouvel état de l'art dans le domaine de l'édition vidéo pilotée par des instructions.