AA-RMVSNet: Adaptives Aggregations-Rekurrentes Mehrsichtstereonetzwerk

In dieser Arbeit stellen wir ein neues rekurrentes Multi-View-Stereo-Netzwerk vor, das auf Long Short-Term Memory (LSTM) mit adaptiver Aggregation basiert, genannt AA-RMVSNet. Zunächst führen wir ein intra-sichtliches Aggregationsmodul ein, das durch den Einsatz von kontextbewusster Faltung und multi-skalierten Aggregationen Bildmerkmale adaptiv extrahiert. Dies verbessert die Leistung in anspruchsvollen Bereichen wie dünnen Objekten und großen flachtexturierten Flächen effizient. Um die Herausforderung variabler Verdeckungen in komplexen Szenen zu bewältigen, schlagen wir ein inter-sichtliches Kostenvolumen-Aggregationsmodul für adaptive Pixel-basierte Sichtaggregation vor, das in der Lage ist, bessere Paare unter allen Sichten zu erhalten. Die beiden vorgeschlagenen adaptiven Aggregationsmodule sind leichtgewichtig, effektiv und ergänzend hinsichtlich der Verbesserung der Genauigkeit und Vollständigkeit der 3D-Rekonstruktion. Anstatt konventioneller 3D-CNNs nutzen wir ein hybrides Netzwerk mit rekurrenter Struktur zur Regularisierung des Kostenvolumens, was eine hochaufgelöste Rekonstruktion und eine feinere hypothetische Planverschiebung ermöglicht. Das vorgeschlagene Netzwerk wird end-to-end trainiert und erzielt ausgezeichnete Ergebnisse auf verschiedenen Datensätzen. Es belegt den 1. Platz unter allen Einreichungen im Tanks and Temples Benchmark und erreicht wettbewerbsfähige Ergebnisse im DTU-Datensatz, was starke Generalisierbarkeit und Robustheit zeigt. Die Implementierung unserer Methode ist unter https://github.com/QT-Zhu/AA-RMVSNet verfügbar.