Multi-View zu Novel View: Synthese neuer Ansichten mit selbstgelernter Zuverlässigkeit

Wir behandeln die Aufgabe der Mehransicht-Nichtsicht-Synthese, bei der es darum geht, ein Zielbild mit einer beliebigen Kamerapose aus gegebenen Quellbildern zu synthetisieren. Wir stellen einen end-to-end trainierbaren Rahmen vor, der lernt, mehrere Perspektiven auszunutzen, um eine neue Ansicht ohne jegliche 3D-Supervision zu generieren. Insbesondere besteht unser Modell aus einem Flussvorhersagemodul und einem Pixelgenerationsmodul, die direkt Informationen aus den Quellansichten nutzen sowie fehlende Pixel auf Basis statistischer Prioritäten „halluzinieren“. Um die Vorhersagen beider Module unter Verwendung mehrerer Quellansichten zu fusionieren, führen wir eine selbstlernte Zuverlässigkeitsaggregationsebene ein. Wir evaluieren unser Modell anhand von Bildern, die aus 3D-Objektmodellen gerendert wurden, sowie an realen und synthetischen Szenen. Wir zeigen, dass unser Modell state-of-the-art-Ergebnisse erzielt und seine Vorhersagen kontinuierlich verbessert, wenn mehr Quellbilder zur Verfügung stehen.