3DVNet: Mehrfachansichtstiefen-Vorhersage und Volumetrische Verfeinerung

Wir stellen 3DVNet vor, eine neuartige Methode zur Tiefenschätzung in der Multi-View-Stereofotografie (MVS), die die Vorteile früherer tiefenbasierten und volumetrischen MVS-Ansätze kombiniert. Unser Kerngedanke ist die Verwendung eines 3D-Szenenmodellierungsnetzes, das eine Reihe von groben Tiefenschätzungen iterativ aktualisiert, wodurch hochgenaue Schätzungen erzielt werden, die mit der zugrundeliegenden Szenengeometrie übereinstimmen. Im Gegensatz zu bestehenden Tiefenschätzverfahren nutzt unsere Methode ein volumetrisches 3D-Faltungsneuronales Netz (CNN), das im Weltkoordinatensystem auf allen Tiefenkarten gemeinsam arbeitet. Das Netzwerk kann daher sinnvolle Szenen-Level-Priors lernen. Zudem unterscheidet sich unser 3D-CNN von existierenden volumetrischen MVS-Techniken dadurch, dass es auf einem featuresverstärkten Punktwolkenmodell operiert, was eine effektive Aggregation von Multiview-Informationen und eine flexible iterative Verfeinerung der Tiefenkarten ermöglicht.Experimentelle Ergebnisse zeigen, dass unsere Methode sowohl in den Genauigkeitsmetriken der Tiefenschätzung als auch in den Metriken der 3D-Rekonstruktion den aktuellen Stand der Technik auf dem ScanNet-Datensatz übertrifft. Dies gilt ebenso für eine Auswahl von Szenen aus den Datensätzen TUM-RGBD und ICL-NUIM. Diese Ergebnisse belegen, dass unsere Methode nicht nur effektiv ist, sondern auch auf neue Anwendungsszenarien übertragbar.