Stereo-Vergrößerung mit mehrschichtigen Bildern

Die Darstellung von Szenen mittels mehrerer semi-transparenter, farbiger Schichten hat sich als beliebte und erfolgreiche Methode für die Echtzeit-Synthese neuer Ansichten erwiesen. Bestehende Ansätze schätzen Farben und Transparenzwerte über regelmäßig abgestützten Schichten von planarer oder sphärischer Geometrie ab. In dieser Arbeit stellen wir einen neuen Ansatz zur Sichtsynthese vor, der auf mehreren semi-transparenten Schichten mit einer auf die Szene angepassten Geometrie basiert. Unser Ansatz schätzt solche Darstellungen aus Stereobildpaaren in zwei Stufen. In der ersten Stufe wird die Geometrie einer geringen Anzahl datenadaptiver Schichten aus einem gegebenen Ansichtspaar abgeleitet. In der zweiten Stufe werden dann Farbe und Transparenz der jeweiligen Schichten geschätzt, wodurch die endgültige Darstellung für die Synthese neuer Ansichten entsteht. Wichtig ist, dass beide Stufen über einen differenzierbaren Renderer verbunden sind und end-to-end trainiert werden. In den Experimenten zeigen wir, dass der vorgeschlagene Ansatz gegenüber der Verwendung regelmäßig abgestützter Schichten, die keine Anpassung an die Szenegeometrie vornehmen, Vorteile bietet. Trotz einer um Größenordnungen höheren Geschwindigkeit während der Rendering-Phase übertrifft unser Ansatz auch ein kürzlich vorgeschlagenes IBRNet-System, das auf einer impliziten Geometriedarstellung basiert. Ergebnisse finden Sie unter https://samsunglabs.github.io/StereoLayers .