Robuste Bewegungsinterpolation

In dieser Arbeit präsentieren wir eine neuartige, robuste Technik zur Erzeugung von Übergängen, die als ein neues Werkzeug für 3D-Animatorinnen dienen kann und auf adversarialen rekurrenten neuronalen Netzwerken basiert. Das System synthesiert hochwertige Bewegungen, die temporalspärliche Schlüsselbilder als Animationsbeschränkungen nutzen. Dies erinnert an die Aufgabe des Zwischenbild-Generierens (In-Betweening) in traditionellen Animationspipelines, bei der einer Animator*in Bewegungsframes zwischen vorgegebenen Schlüsselbildern zeichnet. Zunächst zeigen wir, dass ein state-of-the-art Bewegungsvorhersagemodell nicht einfach durch Hinzufügen von Bedingungsinformationen bezüglich zukünftiger Schlüsselbilder in einen robusten Übergabegenerator umgewandelt werden kann. Um dieses Problem zu lösen, schlagen wir zwei neuartige additive Embedding-Modifikatoren vor, die in jedem Zeitschritt auf die latente Darstellung angewendet werden, die innerhalb der Architektur des Netzwerks kodiert ist. Der eine Modifikator ist ein Time-to-Arrival-Embedding, das Variationen der Übergangslänge mit einem einzigen Modell ermöglicht. Der andere ist ein geplanter Zielrauschenvektor, der die Robustheit des Systems gegenüber Zielverzerrungen gewährleistet und gleichzeitig die Möglichkeit bietet, bei festen Schlüsselbildern verschiedene Übergänge zu generieren. Zur qualitativen Bewertung unserer Methode stellen wir einen maßgeschneiderten MotionBuilder-Plugin vor, der unser trainiertes Modell in produktionsrelevante Szenarien integriert, um In-Betweening durchzuführen. Zur quantitativen Bewertung der Leistung bei Übergängen und der Generalisierung auf längere Zeithorizonte präsentieren wir klar definierte In-Betweening-Benchmarks auf einer Teilmenge des weit verbreiteten Human3.6M-Datensatzes sowie auf LaFAN1, einem neuen, hochwertigen Motion-Capture-Datensatz, der besser für die Übergabegenerierung geeignet ist. Wir veröffentlichen diesen neuen Datensatz gemeinsam mit dieser Arbeit sowie den zugehörigen Code zur Reproduktion unserer Baseline-Ergebnisse.