HyperAIHyperAI

Command Palette

Search for a command to run...

Softmax Splatting für die Videoframe-Interpolation

Simon Niklaus Feng Liu

Zusammenfassung

Die differenzierbare Bildabtastung in Form von Rückwärtsverzerrung hat in Aufgaben wie der Tiefenschätzung und der optischen Flussvorhersage weite Verbreitung gefunden. Im Gegensatz dazu hat die Durchführung von Vorwärtsverzerrung weniger Aufmerksamkeit erfahren, teilweise aufgrund zusätzlicher Herausforderungen, wie etwa der differenzierbaren Lösung des Konflikts, dass mehrere Quellpixel auf denselben Zielort abgebildet werden. Wir stellen Softmax-Splatting vor, um diesen Paradigmenwechsel zu bewältigen, und zeigen dessen Wirksamkeit bei der Anwendung der Bildfolgen-Interpolation. Konkret wenden wir bei zwei Eingabebildern mittels Softmax-Splatting eine Vorwärtsverzerrung sowohl auf die Bilder als auch auf ihre Merkmalspyramiden basierend auf einer optischen Flussabschätzung an. Auf diese Weise handhabt Softmax-Splatting nahtlos Fälle, in denen mehrere Quellpixel auf denselben Zielort abgebildet werden. Anschließend nutzen wir ein Synthesenetzwerk, um das Interpolationsresultat aus den verzerrten Darstellungen vorherzusagen. Unser Softmax-Splatting ermöglicht es uns nicht nur, Bilder zu einer beliebigen Zeit zu interpolieren, sondern auch, die Merkmalspyramide und den optischen Fluss zu feinjustieren. Wir zeigen, dass unser Syntheseverfahren, gestärkt durch Softmax-Splatting, neue Sollwert-Ergebnisse für die Video-Bildfolgen-Interpolation erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp