MoCha-Stereo: Stereo Matching을 위한 모티프 채널 주의 네트워크

학습 기반 스테레오 매칭 기술은 상당한 진전을 이룩하였습니다. 그러나 기존 방법들은 특징 채널 생성 과정에서 필연적으로 기하 구조 정보를 잃어버리게 되어 경계 세부사항이 일치하지 않는 문제가 발생합니다. 본 논문에서는 이러한 문제를 해결하기 위해 모티프 채널 주의력 스테레오 매칭 네트워크(MoCha-Stereo)를 설계하였습니다. 우리는 모티프 채널 상관량(MCCV, Motif Channel Correlation Volume)을 제공하여 더욱 정확한 경계 매칭 비용을 결정할 수 있도록 하였습니다. MCCV는 특징 채널에서 공통적인 기하 구조를 포착하는 모티프 채널들을 특징 맵과 비용 체적에 투영하여 얻어집니다. 또한, 재구성 오류 맵의 잠재적인 특징 채널에서의 경계 변화가 세부사항 매칭에 영향을 미치므로, 우리는 재구성 오류 모티프 패널티(REMP, Reconstruction Error Motif Penalty) 모듈을 제안하여 전체 해상도 불일치 추정값을 더욱 개선하였습니다. REMP는 재구성 오류로부터 일반적인 채널 특징들의 주파수 정보를 통합합니다. MoCha-Stereo는 KITTI-2015와 KITTI-2012 반사성 리더보드에서 1위를 차지하였으며, 다중 시점 스테레오에서도 우수한 성능을 보여주었습니다. 코드는 https://github.com/ZYangChen/MoCha-Stereo에서 확인할 수 있습니다.