HyperAIHyperAI

Command Palette

Search for a command to run...

Die Odometrie des Betrunkenen: Schätzung der Kamerabewegung in deformierenden Szenen

David Recasens Martín R. Oswald Marc Pollefeys Javier Civera

Zusammenfassung

Die Schätzung der Kamerabewegung in deformierbaren Szenen stellt eine komplexe und offene Forschungsaufgabe dar. Die meisten existierenden Verfahren zur nicht-starr-strukturbasierten Bewegungsschätzung (Non-Rigid Structure from Motion) gehen davon aus, dass neben den deformierenden Szenenteilen auch statische Szeneteile beobachtet werden, um einen Ankerreferenzpunkt zu etablieren. Dieses Voraussetzung gilt jedoch nicht für bestimmte relevante Anwendungsfälle wie Endoskopien. Deformierbare Odometrie- und SLAM-Pipelines, die die anspruchsvollste Situation explorativer Trajektorien angehen, leiden unter einem Mangel an Robustheit und angemessenen quantitativen Evaluationsmethoden. Um dieses Problem mit einem gemeinsamen Benchmark anzugehen, stellen wir den Drunkard's-Datensatz vor. Dieser Datensatz ist eine herausfordernde Sammlung synthetischer Daten, die auf visuelle Navigation und Rekonstruktion in deformierbaren Umgebungen abzielt. Er ist der erste große Datensatz explorativer Kameratrajektorien mit Ground-Truth-Daten innerhalb von 3D-Szenen, bei denen jede Oberfläche im Laufe der Zeit nicht-starre Deformationen aufweist. Simulationen in realistischen 3D-Gebäuden ermöglichen es uns, eine große Menge an Daten und Ground-Truth-Labels zu erzeugen, einschließlich Kameraposen, RGB-Bildern und Tiefendaten, optischen Flussdaten und Normalkarten in hoher Auflösung und Qualität. Wir präsentieren zudem eine neuartige Methode zur deformierbaren Odometrie, die als Drunkard's-Odometrie bezeichnet wird. Diese Methode zerlegt optische Flussabschätzungen in starre Kamerabewegungen und nicht-starre Szene-Deformationen. Um unsere Daten zu validieren, enthält unsere Arbeit eine Evaluation verschiedener Baselines sowie ein neues Tracking-Fehlermaß, das keine Ground-Truth-Daten erfordert. Datensatz und Code: https://davidrecasens.github.io/TheDrunkard'sOdometry/


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Die Odometrie des Betrunkenen: Schätzung der Kamerabewegung in deformierenden Szenen | Paper | HyperAI