13일 전

GEDepth: 단안 심도 추정을 위한 기저 임베딩

Xiaodong Yang, Zhuang Ma, Zhiyu Ji, Zhe Ren
GEDepth: 단안 심도 추정을 위한 기저 임베딩
초록

단안 깊이 추정은 동일한 2차원 이미지가 무한한 3차원 장면으로부터 투영될 수 있다는 점에서 본질적으로 불량 문제(ill-posed problem)이다. 이 분야의 최첨단 알고리즘들은 상당한 성능 향상을 보고하고 있으나, 본질적으로 시각적 관측과 카메라 파라미터(즉, 내부 파라미터 및 외부 파라미터)의 특정 조합에 의존하여, 실세계 환경에서의 일반화 능력이 크게 제한된다. 이러한 도전에 대응하기 위해, 본 논문은 카메라 파라미터를 시각적 신호로부터 분리하는 새로운 지면 임베딩 모듈을 제안한다. 이를 통해 모듈은 일반화 능력을 향상시킨다. 카메라 파라미터를 입력으로 받아 지면 깊이를 생성하며, 이 지면 깊이는 입력 이미지와 병합되어 최종 깊이 예측 과정에서 참조된다. 또한 모듈 내부에 지면 깊이와 잔여 깊이를 최적의 방식으로 결합할 수 있도록 지면 주의(ground attention) 메커니즘이 설계되었다. 제안하는 지면 임베딩은 매우 유연하고 가벼우며, 다양한 깊이 추정 네트워크에 쉽게 통합 가능한 플러그인 모듈로 구현될 수 있다. 실험 결과, 제안한 방법은 주요 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 특히 다양한 도메인 간 전이 테스트에서 뚜렷한 일반화 성능 향상을 입증하였다.

GEDepth: 단안 심도 추정을 위한 기저 임베딩 | 최신 연구 논문 | HyperAI초신경