GC-MVSNet: Multi-View, Multi-Scale, geometrisch konsistente Multi-View Stereo

Traditionelle Methoden der Multi-View-Stereo-(MVS)-Rekonstruktion basieren stark auf photometrischen und geometrischen Konsistenzbedingungen. Neuere maschinelles Lernen-basierte MVS-Methoden überprüfen jedoch die geometrische Konsistenz über mehrere Quellansichten hinweg nur als Nachbearbeitungsschritt. In dieser Arbeit stellen wir einen neuen Ansatz vor, der während des Lernprozesses explizit die geometrische Konsistenz von Referenzansichtstiefenkarten über mehrere Quellansichten hinweg in verschiedenen Skalen fördert (siehe Abb. 1). Wir feststellen, dass das Hinzufügen dieses Verlustes für die geometrische Konsistenz das Lernen erheblich beschleunigt, indem es geometrisch inkonsistente Pixel explizit bestraft und die Anzahl der Trainingsiterationen auf fast die Hälfte im Vergleich zu anderen MVS-Methoden reduziert. Unsere umfangreichen Experimente zeigen, dass unser Ansatz neue Standards auf den DTU- und BlendedMVS-Datensätzen erreicht und wettbewerbsfähige Ergebnisse auf dem Tanks and Temples-Benchmark erzielt. Nach bestem Wissen ist GC-MVSNet der erste Versuch, während des Lernprozesses eine mehransichtige, multiskalige geometrische Konsistenz zu erzwingen.