다중 규모 일치 네트워크를 통한 의미적 대응

딥 특징은 이전 연구들에서 다양한 맥락에서 정확한 밀도 높은 의미적 대응을 구축하는 데 효과적임이 입증되었다. 그러나 컨볼루션 신경망의 다중 스케일 및 피라미드 계층 구조는 의미적 대응을 위한 구분력 있는 픽셀 수준의 특징을 학습하는 데 충분히 연구되지 않았다. 본 논문에서는 이웃 픽셀 간 미세한 의미적 차이에 민감한 다중 스케일 매칭 네트워크를 제안한다. 우리는 거친 것에서부터 정밀한 것으로 진행되는 매칭 전략을 따르며, 깊은 컨볼루션 신경망의 다중 스케일 계층 구조와 결합된 상향식 특징 및 매칭 개선 방식을 구축한다. 특징 강화 과정에서, 내 스케일 강화는 로컬 자기 주의(자기 주목)를 통해 여러 층의 동일 해상도 특징 맵을 융합하고, 다중 스케일 강화는 상향식 계층을 따라 더 높은 해상도의 특징 맵을 가상으로 생성한다. 또한, 다양한 스케일에서 보완적인 매칭 세부 정보를 학습함으로써, 서로 다른 의미 수준의 특징을 통해 전체 매칭 점수가 점진적으로 개선된다. 제안한 다중 스케일 매칭 네트워크는 추가적인 학습 가능한 파라미터가 거의 없이 엔드 투 엔드로 간편하게 학습할 수 있다. 실험 결과, 제안한 방법은 세 가지 대표적인 벤치마크에서 최고 성능을 달성하면서도 높은 계산 효율성을 보였다.