Shape-for-Motion: Präzise und konsistente Videobearbeitung mit 3D-Proxy

Kürzliche Fortschritte im Bereich der tiefen generativen Modellierung haben bisher unerhörte Möglichkeiten für die Videosynthese erschlossen. In praktischen Anwendungen suchen Nutzer jedoch oft nach Werkzeugen, die ihre kreativen Bearbeitungsabsichten mit präziser und konsistenter Kontrolle umsetzen können. Trotz der durch bestehende Methoden erzielten Fortschritte bleibt die Sicherstellung einer feingranularen Ausrichtung auf die Nutzerabsichten ein offenes und herausforderndes Problem. In dieser Arbeit stellen wir Shape-for-Motion vor, einen neuen Ansatz, der eine 3D-Repräsentation zur präzisen und konsistenten Video-Bearbeitung einbezieht. Shape-for-Motion erreicht dies, indem das Zielobjekt im Eingabevideo in ein zeitlich konsistentes Netz (Mesh) konvertiert wird, d.h., eine 3D-Repräsentation, wodurch Bearbeitungen direkt am Proxy durchgeführt und dann auf die Videoframes zurückgeleitet werden können. Um den Bearbeitungsprozess zu vereinfachen, haben wir eine neuartige Doppelpfortstrategie (Dual-Propagation Strategy) entwickelt, die es Nutzern ermöglicht, Bearbeitungen am 3D-Netz eines einzelnen Frames durchzuführen, während diese automatisch auf die 3D-Netze der anderen Frames übertragen werden. Die 3D-Netze für verschiedene Frames werden zudem in den 2D-Raum projiziert, um bearbeitete Geometrie- und Texturrenderings zu erzeugen, die als Eingabe für ein dekoppeltes Videodiffusionsmodell dienen, um bearbeitete Ergebnisse zu generieren. Unser Framework unterstützt verschiedene präzise und physikalisch konsistente Manipulationen über alle Videoframes hinweg, darunter Pose-Bearbeitung, Rotation, Skalierung, Translation, Texturmodifikation und Objektkomposition. Unser Ansatz markiert einen wichtigen Schritt hin zu hochwertigen und steuerbaren Video-Bearbeitungsworkflows. Umfangreiche Experimente belegen die Überlegenheit und Effektivität unseres Ansatzes. Projektseite: https://shapeformotion.github.io/