ToonComposer: Vereinfachung der Zeichentrickproduktion durch generatives Post-Keyframing
Die traditionelle Erstellung von Zeichentrickfilmen und Anime umfasst die Stufen Keyframing, Zwischenbildgenerierung (Inbetweening) sowie Farbgebung (Colorization), die alle eine intensive manuelle Arbeit erfordern. Trotz neuerer Fortschritte in der Künstlichen Intelligenz behandeln bestehende Methoden diese Phasen häufig getrennt, was zu einer Ansammlung von Fehlern und Artefakten führt. Beispielsweise haben Methoden zur Zwischenbildgenerierung Schwierigkeiten bei großen Bewegungen, während Farbgebungstechniken detaillierte Skizzen pro Frame erfordern. Um dieses Problem anzugehen, stellen wir ToonComposer vor, ein generatives Modell, das die Zwischenbildgenerierung und Farbgebung in einer einzigen Phase nach dem Keyframing vereint. ToonComposer nutzt eine Methode zur sparsamen Skizzeninjektion, um präzise Steuerung mittels Keyframe-Skizzen zu ermöglichen. Zudem wendet es eine Anpassungsmethode für Cartoons an, die auf einem räumlichen Low-Rank-Adapter basiert, um ein modernes Video-Grundmodell an den Cartoon-Domänenbereich anzupassen, während gleichzeitig seine zeitlichen Prioritäten erhalten bleiben. Mit lediglich einer einzigen Skizze und einem farbigen Referenzframe ausreichend, zeigt ToonComposer herausragende Leistung bei sparsen Eingaben und unterstützt gleichzeitig mehrere Skizzen an beliebigen zeitlichen Positionen für eine präzisere Bewegungssteuerung. Diese doppelte Fähigkeit verringert den manuellen Aufwand und erhöht die Flexibilität, wodurch Künstler in realen Produktionsumgebungen besser unterstützt werden. Zur Evaluation unseres Modells haben wir zudem PKBench entwickelt, eine Benchmark mit von Menschen gezeichneten Skizzen, die reale Anwendungsszenarien simulieren. Unsere Bewertung zeigt, dass ToonComposer bestehende Ansätze hinsichtlich visueller Qualität, Bewegungskonsistenz und Produktivität übertrifft und somit eine überlegene und flexiblere Lösung für die künstliche Intelligenz-gestützte Erstellung von Zeichentrickfilmen bietet.