D2-Net: 합성곱 신경망을 이용한 지역 특징의 동시 검출 및 설명

이 연구에서는 어려운 영상 조건 하에서 신뢰할 수 있는 픽셀 단위 대응점을 찾는 문제를 다룹니다. 우리는 단일 합성곱 신경망이 이중 역할을 하는 접근 방식을 제안합니다. 이 신경망은 동시에 밀도 특징 설명자와 특징 검출자의 역할을 수행합니다. 검출 과정을 후반 단계로 미루면, 전통적인 저수준 구조의 초기 검출에 기반한 키포인트보다 더 안정적인 키포인트를 얻을 수 있습니다. 우리는 이 모델이 추가적인 주석 없이 이미 사용 가능한 대규모 SfM 재구성에서 추출된 픽셀 대응점을 사용하여 학습될 수 있음을 보여줍니다. 제안된 방법은 어려운 아헨 낮-밤 정위 데이터셋과 InLoc 실내 정위 벤치마크에서 최고 수준의 성능을 보이며, 이미지 매칭 및 3D 재구성을 위한 다른 벤치마크에서도 경쟁력 있는 성능을 나타냅니다.