HyperAIHyperAI

Command Palette

Search for a command to run...

3D Ken-Burns-Effekt aus einem einzelnen Bild

Simon Niklaus Long Mai Jimei Yang Feng Liu

Zusammenfassung

Der Ken-Burns-Effekt ermöglicht die Animation von statischen Bildern durch eine virtuelle Kamerafahrt und Zoomfunktion. Die Hinzufügung von Parallaxe, die den 3D-Ken-Burns-Effekt erzeugt, führt zu deutlich überzeugenderen Ergebnissen. Die manuelle Erstellung solcher Effekte ist jedoch zeitaufwendig und erfordert fortgeschrittene Bearbeitungsfähigkeiten. Bestehende automatisierte Methoden hingegen benötigen mehrere Eingabebilder aus unterschiedlichen Blickwinkeln. In diesem Artikel stellen wir einen Rahmenwerk vor, der den 3D-Ken-Burns-Effekt aus einem einzigen Bild synthetisiert und sowohl einen vollautomatischen Modus als auch einen interaktiven Modus unterstützt, in dem der Benutzer die Kamera steuert. Unser Rahmenwerk nutzt zunächst eine Tiefenschätzungspipeline, die eine für die Ansichtssynthese geeignete Szenentiefe schätzt. Um die Einschränkungen bestehender Tiefenschätzungsmethoden – wie geometrische Verzerrungen, semantische Verzerrungen und ungenaue Tiefengrenzen – zu überwinden, entwickeln wir ein semantikbewusstes neuronales Netzwerk zur Tiefenschätzung, koppeln seine Schätzung mit einem segmentationsbasierten Tiefenanpassungsprozess und setzen ein Nachbearbeitungs-Neuronales Netzwerk ein, das präzise Tiefenschätzungen an Objekträndern ermöglicht. Auf Basis dieser Tiefenschätzung transformiert unser Rahmenwerk das Eingabebild in eine Punktewolke und synthetisiert die resultierenden Videobilder durch Rendern der Punktewolke von den entsprechenden Kamerapositionen. Um Disokklusionen zu behandeln und gleichzeitig geometrisch sowie zeitlich konsistente Syntheseeffekte zu gewährleisten, setzen wir kontextbewusste Farb- und Tiefen-Inpainting-Techniken ein, um die fehlenden Informationen in den extremen Blickwinkeln des Kamerawegs zu ergänzen und somit die Szenengeometrie der Punktewolke zu erweitern. Experimente mit einer Vielzahl unterschiedlicher Bildinhalte zeigen, dass unsere Methode realistische Syntheseeffekte ermöglicht. Unsere Studie demonstriert, dass unser System es Benutzern erlaubt, qualitativ bessere Ergebnisse zu erzielen, während gleichzeitig deutlich weniger Aufwand im Vergleich zu bestehenden Lösungen für die Erstellung des 3D-Ken-Burns-Effekts erforderlich ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
3D Ken-Burns-Effekt aus einem einzelnen Bild | Paper | HyperAI