적응형 이웃 집약을 갖는 대응 네트워크

본 논문에서는 동일한 카테고리에 속하는 객체를 포함한 이미지 간의 밀도 높은 시각적 대응 관계를 설정하는 문제에 도전한다. 이는 클래스 내 변동성의 크기와 밀도 높은 픽셀 수준의 레이블 부족으로 인해 매우 도전적인 과제이다. 우리는 희소한 키포인트 레이블을 이용하여 엔드 투 엔드로 학습이 가능한 컨볼루션 신경망 아키텍처인 적응형 이웃 공감 네트워크(Adaptive Neighbourhood Consensus Network, ANC-Net)를 제안한다. ANC-Net의 핵심은 클래스 내 변동성에 대해 강건한 매칭을 가능하게 하는 적응형 이웃 공감 모듈의 기본 구성 요소가 되는 비등방성 4차원 컨볼루션 커널이다. 또한, 학습된 특징이 클래스 내 변동성에 대해 강건하도록 하기 위해 ANC-Net에 간단하면서도 효율적인 다중 해상도 자기유사성 모듈을 도입한다. 더불어, 일대일 매칭 제약 조건을 강제할 수 있는 새로운 직교 손실 함수를 제안한다. 제안한 방법은 다양한 벤치마크에서 철저히 평가되었으며, 기존 최고 성능 방법들에 비해 상당한 성능 향상을 보였다.