HyperAIHyperAI

Command Palette

Search for a command to run...

3DVNet: Mehrfachansichtstiefen-Vorhersage und Volumetrische Verfeinerung

Rich Alexander ; Stier Noah ; Sen Pradeep ; Höllerer Tobias

Zusammenfassung

Wir stellen 3DVNet vor, eine neuartige Methode zur Tiefenschätzung in der Multi-View-Stereofotografie (MVS), die die Vorteile früherer tiefenbasierten und volumetrischen MVS-Ansätze kombiniert. Unser Kerngedanke ist die Verwendung eines 3D-Szenenmodellierungsnetzes, das eine Reihe von groben Tiefenschätzungen iterativ aktualisiert, wodurch hochgenaue Schätzungen erzielt werden, die mit der zugrundeliegenden Szenengeometrie übereinstimmen. Im Gegensatz zu bestehenden Tiefenschätzverfahren nutzt unsere Methode ein volumetrisches 3D-Faltungsneuronales Netz (CNN), das im Weltkoordinatensystem auf allen Tiefenkarten gemeinsam arbeitet. Das Netzwerk kann daher sinnvolle Szenen-Level-Priors lernen. Zudem unterscheidet sich unser 3D-CNN von existierenden volumetrischen MVS-Techniken dadurch, dass es auf einem featuresverstärkten Punktwolkenmodell operiert, was eine effektive Aggregation von Multiview-Informationen und eine flexible iterative Verfeinerung der Tiefenkarten ermöglicht.Experimentelle Ergebnisse zeigen, dass unsere Methode sowohl in den Genauigkeitsmetriken der Tiefenschätzung als auch in den Metriken der 3D-Rekonstruktion den aktuellen Stand der Technik auf dem ScanNet-Datensatz übertrifft. Dies gilt ebenso für eine Auswahl von Szenen aus den Datensätzen TUM-RGBD und ICL-NUIM. Diese Ergebnisse belegen, dass unsere Methode nicht nur effektiv ist, sondern auch auf neue Anwendungsszenarien übertragbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp