술취한의 오도메트리: 변형되는 장면에서 카메라 움직임 추정

변형 가능한 장면에서 카메라 움직임을 추정하는 것은 복잡하고 해결되지 않은 연구 과제입니다. 대부분의 기존 비강체 구조 추론 기술은 변형 가능한 장면 부분 외에도 정적인 장면 부분을 관찰한다고 가정하여 앵커링 참조를 설정합니다. 그러나 이 가정은 내시경과 같은 일부 중요한 응용 사례에서는 성립하지 않습니다. 탐사 궤적을 다루는 가장 어려운 시나리오에서 변형 오도메트리와 SLAM 파이프라인은 견고성 부족과 적절한 정량 평가 방법론 부족으로 고생하고 있습니다. 이러한 문제를 공통 벤치마크로 해결하기 위해, 우리는 변형 가능한 환경에서 시각적 탐색 및 재구성을 목표로 하는 도전적인 합성 데이터 집합인 Drunkard's Dataset(酩酊자 데이터셋)을 소개합니다. 이 데이터셋은 시간에 따라 모든 표면이 비강체 변형을 나타내는 3D 장면 내부에 있는 지상 진실을 포함하는 첫 번째 대규모 탐사 카메라 궤적 집합입니다. 실제적인 3D 건물에서의 시뮬레이션을 통해 우리는 카메라 자세, RGB 이미지와 깊이, 광학 흐름, 그리고 고해상도와 품질의 법선 맵 등 많은 양의 데이터와 지상 진실 라벨을 얻을 수 있습니다. 또한, 우리는 광학 흐름 추정치를 강체 카메라 움직임과 비강체 장면 변형으로 분해하는 새로운 변형 오도메트리 방법인 Drunkard's Odometry(酩酊자 오도메트리)를 제시합니다. 우리의 데이터를 검증하기 위해, 이 연구에는 여러 베이스라인의 평가와 지상 진실 데이터가 필요하지 않은 새로운 추적 오차 메트릭이 포함되어 있습니다.데이터셋 및 코드: https://davidrecasens.github.io/TheDrunkard'sOdometry/