LongAnimation : Génération d'animations longues avec une mémoire globale-locale dynamique
La colorisation d'animation est une partie cruciale de la production dans l'industrie de l'animation réelle. La colorisation d'animations longues entraîne des coûts de main-d'œuvre élevés. Par conséquent, la colorisation automatisée d'animations longues basée sur un modèle de génération vidéo présente une valeur de recherche significative. Les études existantes sont limitées à la colorisation à court terme. Ces études adoptent un paradigme local, en fusionnant des caractéristiques chevauchantes pour assurer des transitions fluides entre les segments locaux. Cependant, ce paradigme local néglige les informations globales, ne parvenant pas à maintenir une cohérence chromatique à long terme. Dans cette étude, nous soutenons que l'idéal d'une cohérence chromatique à long terme peut être atteint grâce à un paradigme global-local dynamique, c'est-à-dire en extrayant dynamiquement des caractéristiques globales cohérentes en couleur pertinentes pour la génération actuelle.Plus précisément, nous proposons LongAnimation, un cadre novateur qui comprend principalement SketchDiT, une Mémoire Globale-Locale Dynamique (DGLM) et une Récompense de Cohérence Chromatique. SketchDiT capture des caractéristiques de référence hybrides pour soutenir le module DGLM. Le module DGLM utilise un modèle de compréhension vidéo longue pour compresser dynamiquement les caractéristiques historiques globales et les fusionner adaptativement avec les caractéristiques actuelles de génération. Pour affiner la cohérence chromatique, nous introduisons une Récompense de Cohérence Chromatique. Pendant l'inférence, nous proposons une fusion de cohérence chromatique pour lisser la transition entre les segments vidéo. Des expériences approfondies menées tant sur des animations à court terme (14 images) que sur des animations à long terme (en moyenne 500 images) montrent l'efficacité de LongAnimation dans le maintien d'une cohérence chromatique à court et à long terme pour la tâche de colorisation d'animations ouvertes. Le code est disponible sur https://cn-makers.github.io/long_animation_web/.