HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

EPP-MVSNet: Epipolar-Assembling-basierte Tiefenschätzung für Multi-View-Stereo

{Fan Yu Lei Chen Jingwei Huang Qirui Wang Yue Gong Xinjun Ma}

EPP-MVSNet: Epipolar-Assembling-basierte Tiefenschätzung für Multi-View-Stereo

Abstract

In diesem Paper stellen wir EPP-MVSNet vor, ein neuartiges tiefes Lernnetzwerk für die 3D-Rekonstruktion aus mehreren Ansichten (Multi-View Stereo, MVS). EPP-MVSNet kann Merkmale mit hoher Auflösung präzise aggregieren, wodurch ein begrenzter Kostenvolumenraum mit einem optimalen Tiefenbereich erzeugt wird, was zu einer effektiven und effizienten 3D-Rekonstruktion führt. Im Gegensatz zu bestehenden Ansätzen, die die Merkmalskosten an diskreten Positionen messen und dadurch die Genauigkeit der 3D-Rekonstruktion beeinträchtigen, führt EPP-MVSNet einen auf Epipolarlinien basierenden, adaptiven Kernel ein, der entlang der Epipolarlinien variable Intervalle nutzt, um die Bildauflösung optimal auszunutzen. Darüber hinaus stellen wir eine auf Entropie basierende Verfeinerungsstrategie vor, bei der das Kostenvolumen die räumliche Geometrie mit geringer Redundanz beschreibt. Zudem entwerfen wir ein leichtgewichtiges Netzwerk mit integrierten Pseudo-3D-Konvolutionen, um hohe Genauigkeit und Effizienz zu erreichen. Wir haben umfangreiche Experimente auf anspruchsvollen Datensätzen wie Tanks & Temples (TNT), ETH3D und DTU durchgeführt. Die Ergebnisse zeigen überzeugende Leistungen auf allen Datensätzen, wobei EPP-MVSNet den höchsten F-Score im Online-Benchmark des TNT Intermediate Benchmarks erreicht. Der Quellcode ist unter https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/eppmvsnet verfügbar.

Benchmarks

BenchmarkMethodikMetriken
3d-reconstruction-on-dtuEPP-MVSNet
Acc: 0.413
Comp: 0.296
Overall: 0.355
point-clouds-on-tanks-and-templesEPP-MVSNet
Mean F1 (Advanced): 35.72
Mean F1 (Intermediate): 61.68

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
EPP-MVSNet: Epipolar-Assembling-basierte Tiefenschätzung für Multi-View-Stereo | Forschungsarbeiten | HyperAI