RoMa: 강건한 밀도 특징 매칭

특징 매칭은 3D 장면의 두 이미지 간 대응 관계를 추정하는 중요한 컴퓨터 비전 작업이며, 밀도 높은 방법들은 이러한 모든 대응 관계를 추정합니다. 본 연구에서는 도전적인 실제 환경 변화에서도 일치성을 유지할 수 있는 강건한 모델을 학습하는 것을 목표로 하며, 이에 기초 모델 DINOv2에서 얻은 동결된 사전 훈련 특징을 활용하여 그러한 모델을 제안합니다. 이러한 특징들은 스크래치에서 훈련된 지역 특징들보다 현저히 강건하지만, 본질적으로 거칠기 때문에 이를 전문화된 ConvNet 세부 특징들과 결합하여 정확하게 위치할 수 있는 특징 피라미드를 생성합니다. 강건성을 더욱 개선하기 위해, 우리는 앵커 확률을 예측하는 맞춤형 트랜스포머 매칭 디코더를 제안하는데, 이는 다중 모드 표현이 가능하도록 합니다. 마지막으로, 분류를 통한 회귀와 그 후의 강건한 회귀를 통해 개선된 손실 함수 공식을 제안합니다. 우리는 포괄적인 실험 집합을 수행하여 우리의 방법인 RoMa가 상당한 성능 향상을 이루고 새로운 최신 기술(SOTA)을 설정함을 보여주었습니다. 특히, 극도로 어려운 WxBS 벤치마크에서 36%의 성능 향상을 달성했습니다. 코드는 https://github.com/Parskatt/RoMa 에 제공됩니다.