HyperAIHyperAI

Command Palette

Search for a command to run...

Multi-View zu Novel View: Synthese neuer Ansichten mit selbstgelernter Zuverlässigkeit

Yuan-Hong Liao Shao-Hua Sun Minyoung Huh Ning Zhang Joseph J. Lim

Zusammenfassung

Wir behandeln die Aufgabe der Mehransicht-Nichtsicht-Synthese, bei der es darum geht, ein Zielbild mit einer beliebigen Kamerapose aus gegebenen Quellbildern zu synthetisieren. Wir stellen einen end-to-end trainierbaren Rahmen vor, der lernt, mehrere Perspektiven auszunutzen, um eine neue Ansicht ohne jegliche 3D-Supervision zu generieren. Insbesondere besteht unser Modell aus einem Flussvorhersagemodul und einem Pixelgenerationsmodul, die direkt Informationen aus den Quellansichten nutzen sowie fehlende Pixel auf Basis statistischer Prioritäten „halluzinieren“. Um die Vorhersagen beider Module unter Verwendung mehrerer Quellansichten zu fusionieren, führen wir eine selbstlernte Zuverlässigkeitsaggregationsebene ein. Wir evaluieren unser Modell anhand von Bildern, die aus 3D-Objektmodellen gerendert wurden, sowie an realen und synthetischen Szenen. Wir zeigen, dass unser Modell state-of-the-art-Ergebnisse erzielt und seine Vorhersagen kontinuierlich verbessert, wenn mehr Quellbilder zur Verfügung stehen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp