3D Ken-Burns-Effekt aus einem einzelnen Bild
Der Ken-Burns-Effekt ermöglicht die Animation von statischen Bildern durch eine virtuelle Kamerafahrt und Zoomfunktion. Die Hinzufügung von Parallaxe, die den 3D-Ken-Burns-Effekt erzeugt, führt zu deutlich überzeugenderen Ergebnissen. Die manuelle Erstellung solcher Effekte ist jedoch zeitaufwendig und erfordert fortgeschrittene Bearbeitungsfähigkeiten. Bestehende automatisierte Methoden hingegen benötigen mehrere Eingabebilder aus unterschiedlichen Blickwinkeln. In diesem Artikel stellen wir einen Rahmenwerk vor, der den 3D-Ken-Burns-Effekt aus einem einzigen Bild synthetisiert und sowohl einen vollautomatischen Modus als auch einen interaktiven Modus unterstützt, in dem der Benutzer die Kamera steuert. Unser Rahmenwerk nutzt zunächst eine Tiefenschätzungspipeline, die eine für die Ansichtssynthese geeignete Szenentiefe schätzt. Um die Einschränkungen bestehender Tiefenschätzungsmethoden – wie geometrische Verzerrungen, semantische Verzerrungen und ungenaue Tiefengrenzen – zu überwinden, entwickeln wir ein semantikbewusstes neuronales Netzwerk zur Tiefenschätzung, koppeln seine Schätzung mit einem segmentationsbasierten Tiefenanpassungsprozess und setzen ein Nachbearbeitungs-Neuronales Netzwerk ein, das präzise Tiefenschätzungen an Objekträndern ermöglicht. Auf Basis dieser Tiefenschätzung transformiert unser Rahmenwerk das Eingabebild in eine Punktewolke und synthetisiert die resultierenden Videobilder durch Rendern der Punktewolke von den entsprechenden Kamerapositionen. Um Disokklusionen zu behandeln und gleichzeitig geometrisch sowie zeitlich konsistente Syntheseeffekte zu gewährleisten, setzen wir kontextbewusste Farb- und Tiefen-Inpainting-Techniken ein, um die fehlenden Informationen in den extremen Blickwinkeln des Kamerawegs zu ergänzen und somit die Szenengeometrie der Punktewolke zu erweitern. Experimente mit einer Vielzahl unterschiedlicher Bildinhalte zeigen, dass unsere Methode realistische Syntheseeffekte ermöglicht. Unsere Studie demonstriert, dass unser System es Benutzern erlaubt, qualitativ bessere Ergebnisse zu erzielen, während gleichzeitig deutlich weniger Aufwand im Vergleich zu bestehenden Lösungen für die Erstellung des 3D-Ken-Burns-Effekts erforderlich ist.