2달 전

iDisc: 단일 카메라 깊이 추정을 위한 내부 이산화

Luigi Piccinelli; Christos Sakaridis; Fisher Yu
iDisc: 단일 카메라 깊이 추정을 위한 내부 이산화
초록

단일 카메라 깊이 추정은 3D 장면 이해 및 하류 응용 분야에서 근본적인 역할을 합니다. 그러나 지도 학습 환경에서도 여전히 완전한 기하 제약 조건의 부족으로 인해 어려운 문제이며, 해가 여러 가지일 수 있습니다(ill-posed). 장면은 수백만 개의 픽셀로 구성될 수 있지만, 고수준 패턴은 그보다 적습니다. 우리는 이러한 패턴을 내부 이산화 표현을 통해 학습하기 위한 iDisc를 제안합니다. 이 방법은 장면을 고수준 패턴들의 집합으로 암시적으로 분할합니다. 특히, 우리의 새로운 모듈인 내부 이산화(ID)는 주목 기반의 병목 구조를 통해 감독 없이 이러한 개념을 학습하는 연속-이산-연속 병목 구조를 구현합니다. 최신 방법들과 달리, 제안된 모델은 깊이 출력에 대해 어떠한 명시적인 제약 조건이나 사전 정보(priors)도 강제하지 않습니다. 주목 기반 병목 구조 덕분에 ID 모듈을 포함한 전체 네트워크는 엔드 투 엔드로 훈련될 수 있습니다. 우리의 방법은 NYU-Depth v2와 KITTI 데이터셋에서 크게 개선된 성능으로 새로운 최고 수준(state of the art)을 설정하며, 공식 KITTI 벤치마크에서 모든 출판된 방법들을 능가합니다. 또한 iDisc는 표면 법선 추정에서도 최고 수준의 결과를 얻을 수 있습니다. 더 나아가, 우리는 무학습(zero-shot) 테스트를 통해 모델의 일반화 능력을 탐구하였습니다. 실외 환경에서는 다양성 증진의 절실한 필요성을 관찰하였습니다. 따라서, DDAD와 Argoverse라는 두 자율주행 데이터셋의 분리를 소개합니다. 코드는 http://vis.xyz/pub/idisc 에서 제공됩니다.

iDisc: 단일 카메라 깊이 추정을 위한 내부 이산화 | 최신 연구 논문 | HyperAI초신경