HyperAIHyperAI

Command Palette

Search for a command to run...

LongAnimation: Langfristige Animationsgenerierung mit dynamischem global-lokalen Gedächtnis

Nan Chen Mengqi Huang Yihao Meng Zhendong Mao

Zusammenfassung

Die Farbgebung von Animationen ist ein entscheidender Bestandteil der Produktion im echten Animationsfilmgewerbe. Die langfristige Farbgebung von Animationen ist mit hohen Arbeitskosten verbunden. Daher hat die automatisierte Farbgebung langer Animationen auf Basis eines Video-Generierungsmodells erheblichen Forschungswert. Bestehende Studien beschränken sich jedoch auf die kurzfristige Farbgebung. Diese Studien verwenden ein lokales Paradigma, bei dem überlappende Merkmale zusammengeführt werden, um eine glatte Übergangsphase zwischen lokalen Segmenten zu erreichen. Das lokale Paradigma vernachlässigt jedoch globale Informationen und kann daher nicht die langfristige Farbkonstanz gewährleisten. In dieser Studie argumentieren wir, dass ideale langfristige Farbkonstanz durch ein dynamisches globales-lokales Paradigma erreicht werden kann, das heißt, durch die dynamische Extraktion global farbkonstanter Merkmale, die für die aktuelle Generierung relevant sind.Speziell schlagen wir LongAnimation vor, einen neuen Rahmen, der hauptsächlich aus einem SketchDiT, einem dynamischen global-lokalen Speicher (DGLM) und einer Farbkonstanzbelohnung besteht. Das SketchDiT erfasst hybride Referenzmerkmale, um den DGLM-Modul zu unterstützen. Der DGLM-Modul nutzt ein Modell zur Analyse langer Videos, um globale historische Merkmale dynamisch zu komprimieren und sie anpassend mit den aktuellen Generierungsmerkmalen zu fusionieren. Um die Farbkonstanz zu verfeinern, führen wir eine Farbkonstanzbelohnung ein. Während der Inferenz schlagen wir eine Fusion zur Verfeinerung der Farbkonstanz vor, um den Übergang zwischen Videosegmenten zu glätten.Umfangreiche Experimente sowohl an kurzfristigen (14 Frames) als auch an langfristigen (im Durchschnitt 500 Frames) Animationen zeigen die Effektivität von LongAnimation bei der Aufrechterhaltung kurzfristiger und langfristiger Farbkonstanz für die offene Domäne der Animationsfarbgebung. Der Quellcode ist unter https://cn-makers.github.io/long_animation_web/ erhältlich.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp