Yanzhe Chen Kevin Qinghong Lin Mike Zheng Shou

Résumé

Bien que les modèles génératifs récents aient progressé dans la synthèse vidéo en espace pixel, ils restent limités dans la production de vidéos éducatives professionnelles, qui exigent une connaissance disciplinaire, une structure visuelle précise et des transitions cohérentes, ce qui réduit leur applicabilité dans les contextes éducatifs. Intuitivement, ces exigences sont mieux satisfaites par la manipulation d’un environnement rendu, contrôlable de manière explicite via des commandes logiques (par exemple, du code). Dans ce travail, nous proposons Code2Video, un cadre d’agent centré sur le code pour générer des vidéos éducatives à partir de code Python exécutable. Ce cadre repose sur trois agents collaboratifs : (i) le Planner, qui structure le contenu des cours en flux temporellement cohérents et prépare les ressources visuelles correspondantes ; (ii) le Coder, qui transforme les instructions structurées en codes Python exécutables tout en intégrant une correction automatique guidée par le contexte afin d’améliorer l’efficacité ; et (iii) le Critic, qui utilise des modèles vision-langage (VLM) avec des promts d’ancrage visuel pour affiner la disposition spatiale et garantir la clarté. Pour soutenir une évaluation systématique, nous avons construit MMMC, un benchmark constitué de vidéos éducatives professionnelles, spécifiques à une discipline. Nous évaluons MMMC selon plusieurs dimensions, notamment les scores esthétiques fournis par un VLM en tant que juge, l’efficacité du code, et particulièrement TeachQuiz, une nouvelle métrique end-to-end qui mesure dans quelle mesure un VLM, après un apprentissage inversé (unlearning), parvient à récupérer des connaissances en regardant les vidéos générées. Nos résultats démontrent le potentiel de Code2Video comme approche évolutive, interprétable et contrôlable, atteignant une amélioration de 40 % par rapport à la génération directe de code, tout en produisant des vidéos comparables à celles des tutoriels créés par des humains. Le code source et les jeux de données sont disponibles à l’adresse suivante : [URL].