HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Geometrisch strukturbasierte und regularisierte Tiefenschätzung aus 360°-Innenbildern

{ Shenghua Gao Jingyi Yu Shugong Xu Rui Tang Junfei Zhang Jia Zheng Yanyu Xu Lei Jin}

Geometrisch strukturbasierte und regularisierte Tiefenschätzung aus 360°-Innenbildern

Abstract

Ausgehend von der Korrelation zwischen der Tiefe und der geometrischen Struktur einer 360-Grad-Innenraumbildaufnahme schlagen wir einen neuartigen, lernbasierten Ansatz zur Tiefenschätzung vor, der die geometrische Struktur einer Szene zur Durchführung der Tiefenschätzung nutzt. Konkret repräsentieren wir die geometrische Struktur eines Innenraums als eine Zusammenstellung von Ecken, Kanten und Ebenen. Auf der einen Seite kann die geometrische Struktur aus einer geschätzten Tiefenkarte abgeleitet werden; somit fungiert sie als Regularisierung für die Tiefenschätzung. Auf der anderen Seite profitiert die Schätzung ebenfalls von der geometrischen Struktur, die aus einem Bild abgeleitet wird, wobei diese Struktur als Prior dient. Allerdings erschwert die Anwesenheit von Möbeln in Innenräumen die Ableitung der geometrischen Struktur aus Tiefen- oder Bilddaten. Um sowohl die Tiefenschätzung aus Merkmalen der geometrischen Struktur als auch die geometrische Schätzung aus der geschätzten Tiefenkarte zu erleichtern, leiten wir eine Aufmerksamkeitskarte ab. Um die Wirksamkeit jedes einzelnen Komponenten unseres Ansatzes unter kontrollierten Bedingungen zu überprüfen, erstellen wir eine synthetische Datensammlung, das Shanghaitech-Kujiale Indoor 360-Dataset mit insgesamt 3550 360-Grad-Innenraumbildern. Umfassende Experimente auf gängigen Datensätzen bestätigen die Effektivität unseres Ansatzes. Zudem zeigen wir, dass unsere Methode auch auf gegenfaktische Tiefen angewendet werden kann.

Benchmarks

BenchmarkMethodikMetriken
depth-estimation-on-stanford2d3d-panoramicJin et al.
RMSE: 0.421

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Geometrisch strukturbasierte und regularisierte Tiefenschätzung aus 360°-Innenbildern | Forschungsarbeiten | HyperAI