유동, 스테레오 및 깊이 추정의 통합

우리는 광학 흐름, 정규화된 스테레오 매칭, 그리고 포즈된 이미지에서의 비정규화된 스테레오 깊이 추정을 위한 통합된 수식과 모델을 제시합니다. 이전에 각 특정 작업을 위한 전문적인 아키텍처가 사용되었던 것과 달리, 우리는 모든 세 가지 작업을 통합된 밀집 대응 매칭 문제로 수식화하여, 특성 유사성을 직접 비교함으로써 단일 모델로 해결할 수 있도록 하였습니다. 이러한 수식화는 차별적인 특성 표현이 요구되며, 이를 위해 우리는 특히 크로스 어텐션 메커니즘을 사용하는 트랜스포머를 활용하였습니다. 우리는 크로스 어텐션이 다른 이미지로부터의 지식을 크로스 뷰 상호작용을 통해 통합할 수 있게 해주어, 추출된 특성의 품질을 크게 개선한다는 것을 보여주었습니다. 우리의 통합 모델은 모델 아키텍처와 파라미터가 작업 간에 공유되기 때문에 자연스럽게 크로스 태스크 전이를 가능하게 합니다. 우리는 도전적인 Sintel 데이터셋에서 RAFT보다 우수한 성능을 보였으며, 몇 가지 추가적인 작업별 정교화 단계를 포함하는 최종 모델은 10개의 인기 있는 흐름, 스테레오 및 깊이 데이터셋에서 최근의 최신 방법론들보다 우수하거나 유사한 성능을 보여주면서도, 모델 설계와 추론 속도 측면에서는 더 간단하고 효율적입니다.