Massiv parallele Multiview-Stereo-Sichtbarkeit durch Oberflächen-Normalen-Diffusion

Wir präsentieren eine neue, massiv parallele Methode zur hochwertigen Multiview-Abbildung. Unsere Arbeit baut auf der Patchmatch-Idee auf: Aus zufällig generierten 3D-Ebenen im Szenenraum werden schrittweise die besten anpassenden Ebenen propagiert und verfeinert, um für jede Ansicht ein 3D-Tiefen- und Normalenfeld zu erhalten, sodass eine robuste Photokonsistenzüber alle Bilder hinweg maximiert wird. Unsere Hauptinnovationen liegen einerseits in der Formulierung von Patchmatch im Szenenraum, was die Aggregation von Bildähnlichkeit über mehrere Ansichten ermöglicht und genauere Tiefenkarten liefert. Andererseits liegt sie in einem modifizierten, diffusionsähnlichen Propagationsverfahren, das massiv parallelisiert werden kann und dichte Multiview-Zuordnungen für zehn Bilder mit jeweils 1,9 Megapixeln innerhalb von drei Sekunden auf einer herkömmlichen GPU berechnet. Unser Verfahren verwendet ein geneigtes Unterstützungsfenster und weist daher keinen fronto-parallelen Bias auf; es ist vollständig lokal und parallel, sodass sich die Berechnungszeit linear mit der Bildgröße und umgekehrt proportional zur Anzahl paralleler Threads verhält. Zudem weist es einen geringen Speicherverbrauch auf (vier Werte pro Pixel, unabhängig vom Tiefenbereich). Dadurch skaliert es außergewöhnlich gut und kann mehrere große Bilder mit hoher Tiefenauflösung effizient verarbeiten. Experimente an den DTU- und Middlebury-Multiview-Datensätzen sowie an schrägen Luftbildern zeigen, dass unsere Methode sehr wettbewerbsfähige Ergebnisse mit hoher Genauigkeit und Vollständigkeit in einer Vielzahl unterschiedlicher Szenarien erzielt.