HyperAIHyperAI

Command Palette

Search for a command to run...

AniMaker : Narration animée multi-agents automatisée avec génération de clips pilotée par MCTS

Résumé

Malgré les progrès rapides des modèles de génération vidéo, la création de vidéos narratives cohérentes couvrant plusieurs scènes et personnages reste un défi. Les méthodes actuelles convertissent souvent rigideusement des storyboards pré-générés en clips de longueur fixe, ce qui entraîne des récits fragmentés et des problèmes de rythme. De plus, l'instabilité inhérente des modèles de génération vidéo signifie qu'un seul clip de faible qualité peut considérablement dégrader la cohérence logique et la continuité visuelle de l'animation entière. Pour surmonter ces obstacles, nous présentons AniMaker, un cadre à agents multiples permettant une génération efficace de clips candidats et une sélection de clips consciente du récit, créant ainsi une animation globalement cohérente et narrative uniquement à partir d'une entrée textuelle. Le cadre est structuré autour d'agents spécialisés, notamment l'Agent Réalisateur pour la génération du storyboard, l'Agent Photographe pour la génération de clips vidéo, l'Agent Évaluateur pour l'évaluation, et l'Agent Post-Production pour le montage et le doublage. Au cœur de l'approche d'AniMaker se trouvent deux composants techniques clés : MCTS-Gen dans l'Agent Photographe, une stratégie inspirée par la recherche arborescente Monte Carlo (MCTS) qui navigue intelligemment dans l'espace des candidats pour générer des clips à fort potentiel tout en optimisant l'utilisation des ressources ; et AniEval dans l'Agent Évaluateur, le premier cadre spécifiquement conçu pour évaluer les animations multicadres, qui évalue des aspects critiques tels que la cohérence au niveau du récit, la complétude des actions et les caractéristiques propres aux animations en tenant compte de chaque clip dans le contexte de ses clips précédents et suivants. Les expériences montrent que AniMaker atteint une qualité supérieure selon des métriques populaires telles que VBench et notre cadre d'évaluation proposé AniEval, tout en améliorant considérablement l'efficacité de la génération multicandidats, rapprochant ainsi les animations narratives générées par IA des normes de production.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp