LongAnimation: Langfristige Animationsgenerierung mit dynamischem global-lokalen Gedächtnis

Die Farbgebung von Animationen ist ein entscheidender Bestandteil der Produktion im echten Animationsfilmgewerbe. Die langfristige Farbgebung von Animationen ist mit hohen Arbeitskosten verbunden. Daher hat die automatisierte Farbgebung langer Animationen auf Basis eines Video-Generierungsmodells erheblichen Forschungswert. Bestehende Studien beschränken sich jedoch auf die kurzfristige Farbgebung. Diese Studien verwenden ein lokales Paradigma, bei dem überlappende Merkmale zusammengeführt werden, um eine glatte Übergangsphase zwischen lokalen Segmenten zu erreichen. Das lokale Paradigma vernachlässigt jedoch globale Informationen und kann daher nicht die langfristige Farbkonstanz gewährleisten. In dieser Studie argumentieren wir, dass ideale langfristige Farbkonstanz durch ein dynamisches globales-lokales Paradigma erreicht werden kann, das heißt, durch die dynamische Extraktion global farbkonstanter Merkmale, die für die aktuelle Generierung relevant sind.Speziell schlagen wir LongAnimation vor, einen neuen Rahmen, der hauptsächlich aus einem SketchDiT, einem dynamischen global-lokalen Speicher (DGLM) und einer Farbkonstanzbelohnung besteht. Das SketchDiT erfasst hybride Referenzmerkmale, um den DGLM-Modul zu unterstützen. Der DGLM-Modul nutzt ein Modell zur Analyse langer Videos, um globale historische Merkmale dynamisch zu komprimieren und sie anpassend mit den aktuellen Generierungsmerkmalen zu fusionieren. Um die Farbkonstanz zu verfeinern, führen wir eine Farbkonstanzbelohnung ein. Während der Inferenz schlagen wir eine Fusion zur Verfeinerung der Farbkonstanz vor, um den Übergang zwischen Videosegmenten zu glätten.Umfangreiche Experimente sowohl an kurzfristigen (14 Frames) als auch an langfristigen (im Durchschnitt 500 Frames) Animationen zeigen die Effektivität von LongAnimation bei der Aufrechterhaltung kurzfristiger und langfristiger Farbkonstanz für die offene Domäne der Animationsfarbgebung. Der Quellcode ist unter https://cn-makers.github.io/long_animation_web/ erhältlich.