MaskFlownet: 학습 가능한 차폐 마스크를 이용한 비대칭 특징 매칭

특징 왜곡(Feature warping)은 광류 추정의 핵심 기술이지만, 왜곡 과정에서 발생하는 가려짐 영역(occluded areas)으로 인한 모호성은 여전히 해결되지 않은 주요 문제이다. 본 논문에서는 비대칭적인 가려짐 인지 특징 매칭 모듈을 제안한다. 이 모듈은 특징 왜곡 직후에 명시적인 지도 없이도 무의미한(가려진) 영역을 필터링할 수 있는 대략적인 가려짐 마스크를 학습할 수 있다. 제안한 모듈은 엔드 투 엔드 네트워크 아키텍처에 쉽게 통합 가능하며, 거의 무시할 수 있는 계산 비용 증가로 인해 성능 향상을 달성할 수 있다. 학습된 가려짐 마스크는 이후에 이중 특징 피라미드를 갖춘 네트워크 캐스케이드에 공급되어 최첨단 성능을 달성할 수 있다. 제출 시점에서 본 연구에서 제안한 방법인 MaskFlownet은 MPI Sintel, KITTI 2012 및 2015 벤치마크에서 발표된 모든 광류 추정 방법을 능가한다. 코드는 https://github.com/microsoft/MaskFlownet 에서 공개되어 있다.