초록
의미적으로 유사한 이미지 간에 밀도 높은 대응 관계를 설정하는 것은 도전적인 과제이다. 현재의 접근 방식에서는 클래스 내 변동성의 크기와 배경의 혼잡함으로 인해 두 가지 흔한 문제가 발생한다. 첫째, 원본 이미지의 많은 픽셀이 하나의 타겟 픽셀에 대응되는 '다수에서 일' 매칭이 발생한다. 둘째, 일부 객체 픽셀이 배경 픽셀에 대응되는 '배경 매칭' 현상이 발생한다. 우리는 첫 번째 문제를 전역 특징 매칭을 통해 해결하며, 이미지 간의 총 매칭 상관관계를 최대화함으로써 전역 최적의 매칭 행렬을 도출한다. 매칭 행렬에 행 합과 열 합 제약 조건을 도입함으로써 균형 잡힌 해를 유도함으로써 '다수에서 일' 매칭을 억제한다. 두 번째 문제는 클래스 활성화 맵에 계단 함수(staircase function)를 적용하여 픽셀의 중요도를 전경에서 배경으로 향하는 네 단계로 재가중함으로써 해결한다. 이 전체 절차는 최대화 문제를 최적 운송(optimal transport) 공식으로 변환하고, 계단 가중치를 최적 운송 알고리즘에 통합하여 경험적 분포(empirical distributions)로 활용함으로써 통합된 최적 운송 알고리즘으로 구성된다. 제안된 알고리즘은 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 특히 대규모 SPair-71k 데이터셋에서 26%의 상대적 성능 향상을 달성하였다.