Hierarchische Prior-Entdeckung für nicht-lokales Mehransichts-Stereo

Als ein grundlegendes Problem im Bereich der Computer Vision zielt die Multi-View-Stereo-(MVS-)Rekonstruktion darauf ab, die 3D-Geometrie eines Objekts aus einer Reihe von 2D-Bildern zu rekonstruieren. Neuere Fortschritte in der MVS haben gezeigt, dass die Erfassung nicht-lokaler strukturierter Informationen entscheidend ist, um auch in Bereichen mit geringer Textur eine präzise Geometrie zu rekonstruieren. In dieser Arbeit stellen wir einen hierarchischen Prior-Extraktionsansatz für nicht-lokale Multi-View-Stereo-(HPM-MVS)-Methoden vor. Die zentralen Merkmale unserer Methode basieren auf Techniken, die nicht-lokale Informationen gezielt nutzen, um die MVS-Rekonstruktion zu unterstützen: 1) Ein nicht-lokales, erweiterbares Abtastmuster (Non-local Extensible Sampling Pattern, NESP), das die Größe der abgetasteten Bereiche adaptiv anpassen kann, ohne in lokalen Optima stecken zu bleiben. 2) Ein neuer Ansatz zur Nutzung nicht-lokaler zuverlässiger Punkte, der auf der K-Nächste-Nachbarn-(KNN)-Methode basiert, um ein planares Prior-Modell zu konstruieren und potenzielle Hypothesen für Bereiche zu generieren, in denen die Prior-Modellierung traditionell schwierig ist. 3) Ein hierarchisches Prior-Extraktions- (Hierarchical Prior Mining, HPM)-Framework, das umfassende nicht-lokale Prior-Informationen auf verschiedenen Skalen extrahiert, um die Rekonstruktion der 3D-Geometrie zu unterstützen. Dieser Ansatz erreicht ein ausgezeichnetes Gleichgewicht zwischen der Detailgenauigkeit und der Rekonstruktion von Bereichen mit geringer Textur. Experimentelle Ergebnisse auf den Datensätzen ETH3D und Tanks & Temples bestätigen die überlegene Leistungsfähigkeit und die starke Verallgemeinerungsfähigkeit unseres Ansatzes. Der Quellcode wird in Kürze veröffentlicht.