Deep Metric Learning을 위한 일반적인 쌍 가중치를 사용한 Multi-Similarity Loss

문헌에서 쌍 기반 계산을 바탕으로 한 손실 함수의 가족이 제안되어 깊은 메트릭 학습에 다양한 해결책을 제공하고 있습니다. 본 논문에서는 최근 제안된 쌍 기반 손실 함수를 이해하기 위한 일반적인 가중치 프레임워크를 제공합니다. 우리의 기여는 세 가지로 요약할 수 있습니다: (1) 우리는 그래디언트 분석을 통해 깊은 메트릭 학습의 샘플링 문제를 쌍 가중치의 통합된 시각으로 변환하는 일반 쌍 가중치 (General Pair Weighting, GPW) 프레임워크를 설립하였습니다. 이는 최근 제안된 쌍 기반 손실 함수를 이해하는 강력한 도구를 제공합니다; (2) GPW를 사용하면 다양한 기존 쌍 기반 방법들을 종합적으로 비교하고 논의할 수 있으며, 명확한 차이점과 주요 제한 사항을 파악할 수 있습니다; (3) GPW 하에서 새로운 손실 함수인 다중 유사성 손실 (Multi-Similarity Loss, MS 손실)을 제안합니다. 이 손실 함수는 두 단계의 반복 과정(즉, 마이닝과 가중치 부여)으로 구현되며, 이를 통해 세 가지 유사성을 모두 고려하여 정보가 풍부한 쌍들의 수집과 가중치 부여에 더 원칙적인 접근 방식을 제공합니다. 마지막으로, 제안된 MS 손실은 네 개의 이미지 검색 벤치마크에서 최신 접근 방식들(Abe\cite{Kim_2018_ECCV} 및 HTL 등)보다 크게 우수한 새로운 최고 성능을 달성하였습니다: CUB200에서는 60.6%에서 65.7%, In-Shop Clothes Retrieval 데이터셋에서는 Recall@1 지표에서 80.9%에서 88.0%입니다. 코드는 https://github.com/MalongTech/research-ms-loss 에서 확인 가능합니다.