COTR: 이미지 간 매칭을 위한 대응 변환기

우리는 두 이미지와 그 중 하나의 쿼리 포인트가 주어졌을 때, 다른 이미지에서 해당 포인트의 대응점을 찾는 새로운 프레임워크를 제안합니다. 이를 통해 관심 있는 포인트만 쿼리하여 희소한 대응점을 검색하거나, 이미지의 모든 포인트를 쿼리하여 밀도 높은 매핑을 얻을 수 있습니다. 중요한 점은 로컬 및 글로벌 사전 정보를 모두 포착하고, 이러한 사전 정보 중 가장 관련성이 높은 것을 사용하여 모델이 이미지 영역 간의 관계를 파악할 수 있도록 트랜스포머를 활용하여 네트워크를 구현한다는 것입니다. 추론 시에는 추정치 주변으로 재귀적으로 확대 적용하여 다중 스케일 파이프라인을 구축함으로써 매우 정확한 대응점을 제공할 수 있습니다. 우리의 방법은 여러 데이터셋과 작업에서 와이드 베이스라인 스테레오부터 광학적 유동까지 다양한 문제에 대해 기존 최신 기술보다 크게 우수한 성능을 보입니다. 특정 데이터셋에 대한 재훈련 없이도 이와 같은 성능을 달성하였습니다. 우리는 재현성을 보장하기 위해 처음부터 훈련할 수 있는 모든 필요한 데이터, 코드 및 도구를 공개할 것을 약속드립니다.