HyperAIHyperAI

Command Palette

Search for a command to run...

360SD-Net: 360° Stereotiefenschätzung mit lernbarem Kostenvolumen

Albert Liu Chunyuan Li Yonghong Zhang

Zusammenfassung

Kürzlich haben end-to-end trainierbare tiefe Neuronale Netze die stereoskopische Tiefenschätzung für perspektivische Bilder erheblich verbessert. Allerdings können 360°-Bilder, die unter equirektangularer Projektion aufgenommen wurden, diese bestehenden Methoden nicht direkt nutzen, da durch die Verzerrung (d.h., Linien im 3D-Raum werden nicht als Linien in der 2D-Projektion dargestellt) beeinträchtigt. Um dieses Problem zu lösen, präsentieren wir eine neuartige Architektur, die speziell für sphärische Disparität unter Verwendung von oben-unten 360°-Kameraspaaren entwickelt wurde. Darüber hinaus schlagen wir vor, das Verzerrungsproblem durch (1) einen zusätzlichen Eingabezweig zu mildern, der die Position und Beziehung jedes Pixels in den sphärischen Koordinaten erfasst, und (2) ein Kostenvolumen, das auf einem lernfähigen Schiebefilter basiert. Aufgrund des Mangels an 360°-stereoskopischen Daten haben wir zwei 360°-stereoskopische Datensätze aus Matterport3D und Stanford3D gesammelt, um Training und Evaluation durchzuführen. Ausführliche Experimente und eine Abstrahlierungsstudie werden vorgestellt, um unsere Methode gegenüber existierenden Algorithmen zu validieren. Schließlich zeigen wir vielversprechende Ergebnisse in realen Umgebungen mit Bildern, die mit zwei Kameras vom Verbrauchermarkt aufgenommen wurden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp