3D 패킹을 이용한 자기 지도 단일 카메라 깊이 추정

카메라가 보편적이지만, 로봇 플랫폼은 일반적으로 LiDAR와 같은 활성 센서를 사용하여 직접적인 3차원 인식을 수행합니다. 본 연구에서는 기하학과 새로운 딥 네트워크인 PackNet을 결합한 혁신적인 자기 감독 모노클로라 깊이 추정 방법을 제안합니다. 이 방법은 라벨이 부착되지 않은 모노클로 비디오에서만 학습됩니다. 우리의 아키텍처는 새로운 대칭 패킹 및 언패킹 블록을 활용하여 세부 정보를 유지하는 표현을 압축하고 해제하는 것을 동시에 학습할 수 있도록 3차원 컨벌루션을 사용합니다. 자기 감독임에도 불구하고, 우리의 방법은 KITTI 벤치마크에서 다른 자기 감독, 준감독, 완전히 감독된 방법들을 능가합니다. PackNet의 3차원 귀납 편향은 입력 해상도와 파라미터 수에 따라 확장될 수 있으며, 과적합 없이 도메인 외 데이터(예: NuScenes 데이터셋)에서 더 잘 일반화할 수 있습니다. 또한, 대규모 ImageNet에서의 감독된 사전 학습이 필요하지 않고 실시간으로 실행할 수 있습니다. 마지막으로, 세계 각지에서 운행 중인 자율 주행 차량에 장착된 고밀도 LiDAR로부터 생성된 더 긴 범위와 밀도 높은 지면 진실 깊이를 통해 도시 주행 환경에서 더욱 도전적이고 정확한 깊이 평가를 제공하는 새로운 도시 주행 데이터셋 DDAD (Dense Depth for Automated Driving)를 공개합니다.