Junyoung Seo Rodrigo Mira Alexandros Haliassos Stella Bounareli Honglie Chen Linh Tran Seungryong Kim Zoe Landgraf Jie Shen

Abstract

Audio-getriebene Modelle zur menschlichen Animation leiden oft unter Identitätsverlust während der zeitlichen autoregressiven Generierung, bei der Charaktere im Laufe der Zeit allmählich ihre Identität verlieren. Eine gängige Lösung besteht darin, Schlüsselbilder als temporäre Zwischenanker zu generieren, die eine Verschlechterung verhindern. Allerdings erfordert dieser Ansatz eine zusätzliche Phase zur Generierung von Schlüsselbildern und kann die natürlichen Bewegungsdynamiken einschränken. Um diesem Problem zu begegnen, schlagen wir Lookahead Anchoring vor, das Schlüsselbilder aus zukünftigen Zeitschritten nutzt, die sich außerhalb des aktuellen Generierungsintervalls befinden, anstatt innerhalb desselben. Dadurch werden Schlüsselbilder zu dynamischen Leitpunkten: Das Modell verfolgt kontinuierlich diese zukünftigen Anker, während es gleichzeitig auf unmittelbare Audioeingaben reagiert, wodurch die Identität über die gesamte Generierungsphase hinweg konsistent bleibt. Zudem ermöglicht dies selbstgesteuertes Schlüsselbildgenerieren (self-keyframing), bei dem das Referenzbild selbst als zukünftiger Anker dient – somit entfällt die Notwendigkeit einer separaten Schlüsselbildgenerierung vollständig. Wir beobachten, dass die Distanz des zeitlichen Vorausblicks naturgemäß das Gleichgewicht zwischen Ausdruckskraft und Identitätskonsistenz steuert: größere Distanzen erlauben eine größere Bewegungsfreiheit, während kleinere Distanzen die Identitätsstabilität stärken. Bei der Anwendung auf drei neuere Modelle zur menschlichen Animation erzielt Lookahead Anchoring eine überlegene Lippen-Synchronisation, bessere Erhaltung der Identität und höhere visuelle Qualität, was die Verbesserung der zeitlichen Steuerung über mehrere unterschiedliche Architekturen hinweg belegt. Videoergebnisse sind unter folgendem Link verfügbar: https://lookahead-anchoring.github.io.