자율 주행을 위한 단시점 및 다시점 깊이의 적응형 융합

다중 시점 깊이 추정은 다양한 벤치마크에서 놀라운 성능을 달성해 왔다. 그러나 현재 대부분의 다중 시점 시스템은 이상적인 카메라 자세를 전제로 하며, 이는 자율주행과 같은 실제 환경에서는 흔히 얻을 수 없는 조건이다. 본 연구에서는 다양한 노이즈가 있는 자세 설정 하에서 깊이 추정 시스템의 성능을 평가하기 위한 새로운 강건성 벤치마크를 제안한다. 놀랍게도, 기존의 다중 시점 깊이 추정 방법이나 단일 시점 및 다중 시점 융합 방법이 노이즈가 있는 자세 설정 하에서는 모두 실패함을 발견하였다. 이러한 도전에 대응하기 위해, 강건성과 정확도를 동시에 확보할 수 있도록 고신뢰도 다중 시점 및 단일 시점 결과를 적응적으로 융합하는 단일-다중 시점 융합 깊이 추정 시스템을 제안한다. 적응형 융합 모듈은 래핑 신뢰도 맵을 기반으로 두 가지 브랜치 간의 고신뢰도 영역을 동적으로 선택하여 융합을 수행한다. 이에 따라 텍스처가 없는 장면, 정확도가 낮은 캘리브레이션, 동적 객체 등 다양한 저하 또는 도전적인 조건에서도 더 신뢰할 수 있는 브랜치를 선택하는 경향을 보인다. 제안한 방법은 강건성 테스트에서 최신 기술 수준의 다중 시점 및 융합 방법들을 모두 능가한다. 또한, 정확한 자세 추정이 제공되는 경우, 도전적인 벤치마크(KITTI 및 DDAD)에서 최신 기술 수준의 성능을 달성하였다. 프로젝트 웹사이트: https://github.com/Junda24/AFNet/.