Manydepth2: 동적 환경에서의 움직임 인지 자기지도 학습 단안 깊이 추정

자기지도 기반 단안 깊이 추정 기술의 발전에도 불구하고, 정적 세계를 전제로 하는 가정에 의존함으로써 동적 시나리오에서는 여전히 도전 과제가 존재한다. 본 논문에서는 동적 객체와 정적 배경 모두에 대해 정확한 깊이 추정을 실현하면서도 계산 효율성을 유지하는 Manydepth2를 제안한다. 동적 콘텐츠로 인한 문제를 해결하기 위해, 광학 흐름(optical flow)과 거친 단안 깊이 정보를 활용하여 가상의 정적 기준 프레임을 구성한다. 이 기준 프레임은 원본 타겟 프레임과 협업하여 운동 인지형(cost volume)을 구축하는 데 사용된다. 또한, 네트워크 아키텍처의 정확도와 강건성을 향상시키기 위해, 채널 주의 메커니즘(channel attention)과 비국소 주의 메커니즘(non-local attention)을 결합한 주의 기반 깊이 네트워크를 제안한다. 계산 비용이 유사한 기존 방법들과 비교하여, Manydepth2는 KITTI-2015 데이터셋에서 자기지도 기반 단안 깊이 추정의 근사 제곱 평균 오차(RMSE)를 약 5퍼센트 감소시켰다. 코드는 다음 주소에서 확인할 수 있다: https://github.com/kaichen-z/Manydepth2.