IB-MVS: Ein iterativer Algorithmus für tiefes Multi-View-Stereo basierend auf binären Entscheidungen

Wir präsentieren eine neuartige, auf tiefem Lernen basierende Methode für Multi-View Stereo (MVS). Unser Verfahren schätzt hochaufgelöste und sehr genaue Tiefenkarten iterativ, indem es den kontinuierlichen Raum der möglichen Tiefenwerte bei jedem Pixel in einer binären Entscheidungsweise durchläuft. Der Entscheidungsprozess nutzt eine tiefen Netzwerkarchitektur: Diese berechnet ein pixelweises binäres Maskierungsbild, das festlegt, ob die tatsächliche Tiefe jedes Pixels vor oder hinter seiner aktuellen individuellen Tiefenhypothese liegt. Darüber hinaus, um verdeckte Bereiche zu behandeln, werden bei jeder Iteration die Ergebnisse aus verschiedenen Quellbildern unter Verwendung von pixelweisen Gewichten, die von einem zweiten Netzwerk geschätzt werden, fusioniert. Dank der verwendeten binären Entscheidungsstrategie, die eine effiziente Erforschung des Tiefenraums ermöglicht, kann unsere Methode hochaufgelöste Bilder ohne Kompromisse zwischen Auflösung und Genauigkeit verarbeiten. Dies unterscheidet sie von den meisten alternativen lernbasierten MVS-Methoden, bei denen die explizite Diskretisierung des Tiefenraums das Verarbeiten großer Kostenvolumina erfordert. Wir vergleichen unsere Methode mit den Stand der Technik bietenden MVS-Methoden anhand der Benchmarks DTU, Tanks and Temples und dem anspruchsvollen ETH3D und zeigen wettbewerbsfähige Ergebnisse.