HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Verzerrungsbewusste Faltungsfilter für dichte Vorhersagen in panoramischen Bildern

{Keisuke Tateno Federico Tombari Nassir Navab}

Verzerrungsbewusste Faltungsfilter für dichte Vorhersagen in panoramischen Bildern

Abstract

Es besteht ein hoher Bedarf an 3D-Daten für 360°-Panoramabilder und -videos, getrieben durch die zunehmende Verfügbarkeit spezialisierter Hardware sowohl zur Aufnahme (z. B. omnidirektionale Kameras) als auch zur 3D-Visualisierung (z. B. Head-Mounted Displays) von Panoramainhalten. Gleichzeitig sind 3D-Sensoren, die 3D-Panoramas aufnehmen können, teuer und/oder schwer verfügbar. Um diese Lücke zu schließen, stellen wir einen lernbasierten Ansatz zur Schätzung von Panoramatiefenkarten aus einem einzigen Bild vor. Dank eines speziell entwickelten verformbaren Faltungsfilters, der Verzerrungen berücksichtigt, kann unser Verfahren mit herkömmlichen perspektivischen Bildern trainiert werden und anschließend zur Schätzung der Tiefeninformation in Panoramabildern eingesetzt werden – wodurch der Aufwand zur Erstellung annotierter Trainingsdatensätze für Panoramabilder entfällt. Zudem demonstrieren wir die Anwendbarkeit unseres Ansatzes für aufkommende Aufgaben wie panormales monokulares SLAM, panormale semantische Segmentierung sowie panormale Stiltransfer.

Benchmarks

BenchmarkMethodikMetriken
depth-estimation-on-stanford2d3d-panoramicDisConv
RMSE: 0.369
absolute relative error: 0.176
semantic-segmentation-on-stanford2d3d-1DisConv
mIoU: 34.6%

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verzerrungsbewusste Faltungsfilter für dichte Vorhersagen in panoramischen Bildern | Forschungsarbeiten | HyperAI