HyperAIHyperAI

Command Palette

Search for a command to run...

ToonComposer: Vereinfachung der Zeichentrickproduktion durch generatives Post-Keyframing

Lingen Li Guangzhi Wang Zhaoyang Zhang Yaowei Li Xiaoyu Li Qi Dou Jinwei Gu Tianfan Xue Ying Shan

Zusammenfassung

Die traditionelle Erstellung von Zeichentrickfilmen und Anime umfasst die Stufen Keyframing, Zwischenbildgenerierung (Inbetweening) sowie Farbgebung (Colorization), die alle eine intensive manuelle Arbeit erfordern. Trotz neuerer Fortschritte in der Künstlichen Intelligenz behandeln bestehende Methoden diese Phasen häufig getrennt, was zu einer Ansammlung von Fehlern und Artefakten führt. Beispielsweise haben Methoden zur Zwischenbildgenerierung Schwierigkeiten bei großen Bewegungen, während Farbgebungstechniken detaillierte Skizzen pro Frame erfordern. Um dieses Problem anzugehen, stellen wir ToonComposer vor, ein generatives Modell, das die Zwischenbildgenerierung und Farbgebung in einer einzigen Phase nach dem Keyframing vereint. ToonComposer nutzt eine Methode zur sparsamen Skizzeninjektion, um präzise Steuerung mittels Keyframe-Skizzen zu ermöglichen. Zudem wendet es eine Anpassungsmethode für Cartoons an, die auf einem räumlichen Low-Rank-Adapter basiert, um ein modernes Video-Grundmodell an den Cartoon-Domänenbereich anzupassen, während gleichzeitig seine zeitlichen Prioritäten erhalten bleiben. Mit lediglich einer einzigen Skizze und einem farbigen Referenzframe ausreichend, zeigt ToonComposer herausragende Leistung bei sparsen Eingaben und unterstützt gleichzeitig mehrere Skizzen an beliebigen zeitlichen Positionen für eine präzisere Bewegungssteuerung. Diese doppelte Fähigkeit verringert den manuellen Aufwand und erhöht die Flexibilität, wodurch Künstler in realen Produktionsumgebungen besser unterstützt werden. Zur Evaluation unseres Modells haben wir zudem PKBench entwickelt, eine Benchmark mit von Menschen gezeichneten Skizzen, die reale Anwendungsszenarien simulieren. Unsere Bewertung zeigt, dass ToonComposer bestehende Ansätze hinsichtlich visueller Qualität, Bewegungskonsistenz und Produktivität übertrifft und somit eine überlegene und flexiblere Lösung für die künstliche Intelligenz-gestützte Erstellung von Zeichentrickfilmen bietet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp