ToonComposer : Simplification de la production de bandes dessinées grâce à la post-création générative de cadrages

La production traditionnelle de dessins animés et d’anime repose sur des étapes successives de keyframing, d’interpolation (inbetweening) et de colorisation, toutes trois exigeant un effort manuel important. Malgré les progrès récents dans le domaine de l’intelligence artificielle, les méthodes existantes traitent généralement ces étapes de manière séparée, ce qui entraîne une accumulation d’erreurs et la formation d’artefacts. Par exemple, les approches d’interpolation peinent à gérer des mouvements importants, tandis que les méthodes de colorisation nécessitent des croquis détaillés pour chaque image. Pour pallier ces limites, nous proposons ToonComposer, un modèle génératif qui intègre de manière unifiée les étapes d’interpolation et de colorisation dans une seule phase post-keyframing. ToonComposer utilise un mécanisme d’injection de croquis épars pour offrir un contrôle précis à l’aide de croquis issus des images clés. Par ailleurs, il met en œuvre une méthode d’adaptation aux dessins animés basée sur un adaptateur à faible rang spatial, permettant d’ajuster un modèle fondamental vidéo moderne au domaine des dessins animés tout en préservant son prior temporel. En nécessitant aussi peu qu’un seul croquis et une image colorisée de référence, ToonComposer excelle même avec des entrées très éparse, tout en supportant simultanément plusieurs croquis à n’importe quelle position temporelle afin d’obtenir un contrôle plus précis du mouvement. Cette double capacité réduit considérablement la charge de travail manuelle et améliore la flexibilité, offrant ainsi un outil puissant aux artistes dans des contextes réels. Pour évaluer notre modèle, nous avons également développé PKBench, un benchmark comprenant des croquis dessinés à la main, conçus pour simuler des cas d’usage réels. Nos résultats montrent que ToonComposer surpasser les méthodes existantes en termes de qualité visuelle, de cohérence du mouvement et d’efficacité de production, offrant ainsi une solution supérieure et plus flexible pour la production de dessins animés assistée par l’intelligence artificielle.