EPP-MVSNet: Epipolar-Assembling-basierte Tiefenschätzung für Multi-View-Stereo

In diesem Paper stellen wir EPP-MVSNet vor, ein neuartiges tiefes Lernnetzwerk für die 3D-Rekonstruktion aus mehreren Ansichten (Multi-View Stereo, MVS). EPP-MVSNet kann Merkmale mit hoher Auflösung präzise aggregieren, wodurch ein begrenzter Kostenvolumenraum mit einem optimalen Tiefenbereich erzeugt wird, was zu einer effektiven und effizienten 3D-Rekonstruktion führt. Im Gegensatz zu bestehenden Ansätzen, die die Merkmalskosten an diskreten Positionen messen und dadurch die Genauigkeit der 3D-Rekonstruktion beeinträchtigen, führt EPP-MVSNet einen auf Epipolarlinien basierenden, adaptiven Kernel ein, der entlang der Epipolarlinien variable Intervalle nutzt, um die Bildauflösung optimal auszunutzen. Darüber hinaus stellen wir eine auf Entropie basierende Verfeinerungsstrategie vor, bei der das Kostenvolumen die räumliche Geometrie mit geringer Redundanz beschreibt. Zudem entwerfen wir ein leichtgewichtiges Netzwerk mit integrierten Pseudo-3D-Konvolutionen, um hohe Genauigkeit und Effizienz zu erreichen. Wir haben umfangreiche Experimente auf anspruchsvollen Datensätzen wie Tanks & Temples (TNT), ETH3D und DTU durchgeführt. Die Ergebnisse zeigen überzeugende Leistungen auf allen Datensätzen, wobei EPP-MVSNet den höchsten F-Score im Online-Benchmark des TNT Intermediate Benchmarks erreicht. Der Quellcode ist unter https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/eppmvsnet verfügbar.