Command Palette
Search for a command to run...
AniMaker : Narration animée multi-agents automatisée avec génération de clips pilotée par MCTS
AniMaker : Narration animée multi-agents automatisée avec génération de clips pilotée par MCTS
Résumé
Malgré les progrès rapides des modèles de génération vidéo, la création de vidéos narratives cohérentes couvrant plusieurs scènes et personnages reste un défi. Les méthodes actuelles convertissent souvent rigideusement des storyboards pré-générés en clips de longueur fixe, ce qui entraîne des récits fragmentés et des problèmes de rythme. De plus, l'instabilité inhérente des modèles de génération vidéo signifie qu'un seul clip de faible qualité peut considérablement dégrader la cohérence logique et la continuité visuelle de l'animation entière. Pour surmonter ces obstacles, nous présentons AniMaker, un cadre à agents multiples permettant une génération efficace de clips candidats et une sélection de clips consciente du récit, créant ainsi une animation globalement cohérente et narrative uniquement à partir d'une entrée textuelle. Le cadre est structuré autour d'agents spécialisés, notamment l'Agent Réalisateur pour la génération du storyboard, l'Agent Photographe pour la génération de clips vidéo, l'Agent Évaluateur pour l'évaluation, et l'Agent Post-Production pour le montage et le doublage. Au cœur de l'approche d'AniMaker se trouvent deux composants techniques clés : MCTS-Gen dans l'Agent Photographe, une stratégie inspirée par la recherche arborescente Monte Carlo (MCTS) qui navigue intelligemment dans l'espace des candidats pour générer des clips à fort potentiel tout en optimisant l'utilisation des ressources ; et AniEval dans l'Agent Évaluateur, le premier cadre spécifiquement conçu pour évaluer les animations multicadres, qui évalue des aspects critiques tels que la cohérence au niveau du récit, la complétude des actions et les caractéristiques propres aux animations en tenant compte de chaque clip dans le contexte de ses clips précédents et suivants. Les expériences montrent que AniMaker atteint une qualité supérieure selon des métriques populaires telles que VBench et notre cadre d'évaluation proposé AniEval, tout en améliorant considérablement l'efficacité de la génération multicandidats, rapprochant ainsi les animations narratives générées par IA des normes de production.