Abstract

Bildwirke (VFX) sind entscheidend für die Ausdruckskraft digitaler Medien, ihre Erstellung stellt jedoch weiterhin eine große Herausforderung für generative KI dar. Übliche Ansätze basieren oft auf dem Paradigma „ein LoRA pro Effekt“, das ressourcenintensiv ist und grundsätzlich nicht in der Lage ist, auf unbekannte Effekte zu generalisieren, wodurch Skalierbarkeit und Kreativität eingeschränkt werden. Um diese Herausforderung zu meistern, stellen wir VFXMaster vor – den ersten einheitlichen, referenzbasierten Rahmen für die Generierung von VFX-Videos. Dabei wird die Effekterzeugung als In-Context-Lernaufgabe neu definiert, wodurch der Modellansatz diverse dynamische Effekte aus einem Referenzvideo auf Zielinhalte replizieren kann. Zudem zeigt er beachtliche Generalisierungsfähigkeit hinsichtlich bisher nicht gesehener Effektkategorien. Insbesondere entwerfen wir eine In-Context-Conditioning-Strategie, die den Modellansatz mit einem Referenzbeispiel anregt. Ein In-Context-Attention-Mask wird zudem speziell entworfen, um die essentiellen Effektmerkmale präzise zu entkoppeln und einzuspeisen, sodass ein einheitlicher Modellansatz die Nachahmung von Effekten ohne Informationslecks beherrschen kann. Darüber hinaus schlagen wir eine effiziente One-Shot-Effektanpassungsmethode vor, die die Generalisierungsfähigkeit für anspruchsvolle, bisher unbekannte Effekte rasch anhand eines einzigen vom Benutzer bereitgestellten Videos steigert. Umfassende Experimente belegen, dass unsere Methode verschiedene Kategorien von Effektdaten effektiv nachahmt und hervorragende Generalisierungsfähigkeit hinsichtlich außerhalb des Trainingsdomänen liegender Effekte aufweist. Um zukünftige Forschung zu fördern, werden wir unseren Quellcode, die Modelle und eine umfassende Datensammlung der wissenschaftlichen Gemeinschaft zur Verfügung stellen.