HyperAIHyperAI

Command Palette

Search for a command to run...

LongAnimation : Génération d'animations longues avec une mémoire globale-locale dynamique

Nan Chen Mengqi Huang Yihao Meng Zhendong Mao

Résumé

La colorisation d'animation est une partie cruciale de la production dans l'industrie de l'animation réelle. La colorisation d'animations longues entraîne des coûts de main-d'œuvre élevés. Par conséquent, la colorisation automatisée d'animations longues basée sur un modèle de génération vidéo présente une valeur de recherche significative. Les études existantes sont limitées à la colorisation à court terme. Ces études adoptent un paradigme local, en fusionnant des caractéristiques chevauchantes pour assurer des transitions fluides entre les segments locaux. Cependant, ce paradigme local néglige les informations globales, ne parvenant pas à maintenir une cohérence chromatique à long terme. Dans cette étude, nous soutenons que l'idéal d'une cohérence chromatique à long terme peut être atteint grâce à un paradigme global-local dynamique, c'est-à-dire en extrayant dynamiquement des caractéristiques globales cohérentes en couleur pertinentes pour la génération actuelle.Plus précisément, nous proposons LongAnimation, un cadre novateur qui comprend principalement SketchDiT, une Mémoire Globale-Locale Dynamique (DGLM) et une Récompense de Cohérence Chromatique. SketchDiT capture des caractéristiques de référence hybrides pour soutenir le module DGLM. Le module DGLM utilise un modèle de compréhension vidéo longue pour compresser dynamiquement les caractéristiques historiques globales et les fusionner adaptativement avec les caractéristiques actuelles de génération. Pour affiner la cohérence chromatique, nous introduisons une Récompense de Cohérence Chromatique. Pendant l'inférence, nous proposons une fusion de cohérence chromatique pour lisser la transition entre les segments vidéo. Des expériences approfondies menées tant sur des animations à court terme (14 images) que sur des animations à long terme (en moyenne 500 images) montrent l'efficacité de LongAnimation dans le maintien d'une cohérence chromatique à court et à long terme pour la tâche de colorisation d'animations ouvertes. Le code est disponible sur https://cn-makers.github.io/long_animation_web/.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
LongAnimation : Génération d'animations longues avec une mémoire globale-locale dynamique | Articles | HyperAI