GoMVS: Geometrisch konsistente Kostenaggregation für Multi-View-Stereo

Die Kostenaggregation spielt eine zentrale Rolle in lernbasierten Mehransichts-Stereonetzen. Allerdings können die direkte Aggregation benachbarter Kosten aufgrund lokaler geometrischer Inkonsistenzen zu suboptimalen Ergebnissen führen. Bisherige Ansätze versuchen entweder eine selektive Aggregation zu erreichen oder verbessern die aggregierte Tiefe im 2D-Raum – beide Ansätze sind jedoch nicht effektiv in der Bewältigung geometrischer Inkonsistenzen im Kostenvolumen. In diesem Paper stellen wir GoMVS vor, ein Verfahren zur Aggregation geometrisch konsistenter Kosten, das eine bessere Ausnutzung benachbarter Geometrien ermöglicht. Konkret korrelieren und propagieren wir benachbarte Kosten auf den Referenzpixel, indem wir die lokale geometrische Glätte in Verbindung mit Oberflächennormalen ausnutzen. Dies erreichen wir durch das Modul der geometrisch konsistenten Propagation (GCP). Es berechnet die Korrespondenz vom benachbarten Tiefen-Hypothesenraum in den Referenz-Tiefenraum mittels Oberflächennormalen, propagiert anschließend die benachbarten Kosten auf die Referenzgeometrie und führt eine anschließende Faltung zur Aggregation durch. Unser Ansatz erzielt neue SOTA-Leistungen auf den Datensätzen DTU, Tanks & Temple und ETH3D. Besonders hervorzuheben ist, dass unser Verfahren den ersten Platz im Tanks & Temple Advanced Benchmark erreicht.