Die Odometrie des Betrunkenen: Schätzung der Kamerabewegung in deformierenden Szenen

Die Schätzung der Kamerabewegung in deformierbaren Szenen stellt eine komplexe und offene Forschungsaufgabe dar. Die meisten existierenden Verfahren zur nicht-starr-strukturbasierten Bewegungsschätzung (Non-Rigid Structure from Motion) gehen davon aus, dass neben den deformierenden Szenenteilen auch statische Szeneteile beobachtet werden, um einen Ankerreferenzpunkt zu etablieren. Dieses Voraussetzung gilt jedoch nicht für bestimmte relevante Anwendungsfälle wie Endoskopien. Deformierbare Odometrie- und SLAM-Pipelines, die die anspruchsvollste Situation explorativer Trajektorien angehen, leiden unter einem Mangel an Robustheit und angemessenen quantitativen Evaluationsmethoden. Um dieses Problem mit einem gemeinsamen Benchmark anzugehen, stellen wir den Drunkard's-Datensatz vor. Dieser Datensatz ist eine herausfordernde Sammlung synthetischer Daten, die auf visuelle Navigation und Rekonstruktion in deformierbaren Umgebungen abzielt. Er ist der erste große Datensatz explorativer Kameratrajektorien mit Ground-Truth-Daten innerhalb von 3D-Szenen, bei denen jede Oberfläche im Laufe der Zeit nicht-starre Deformationen aufweist. Simulationen in realistischen 3D-Gebäuden ermöglichen es uns, eine große Menge an Daten und Ground-Truth-Labels zu erzeugen, einschließlich Kameraposen, RGB-Bildern und Tiefendaten, optischen Flussdaten und Normalkarten in hoher Auflösung und Qualität. Wir präsentieren zudem eine neuartige Methode zur deformierbaren Odometrie, die als Drunkard's-Odometrie bezeichnet wird. Diese Methode zerlegt optische Flussabschätzungen in starre Kamerabewegungen und nicht-starre Szene-Deformationen. Um unsere Daten zu validieren, enthält unsere Arbeit eine Evaluation verschiedener Baselines sowie ein neues Tracking-Fehlermaß, das keine Ground-Truth-Daten erfordert. Datensatz und Code: https://davidrecasens.github.io/TheDrunkard'sOdometry/