UGNCL: 효율적인 다중 모달 매칭을 위한 불확실성 지도형 노이지 대응 학습

다중 모달 데이터 간 검색을 촉진하기 위해 최근 교차 모달 매칭(cross-modal matching)이 큰 인기를 끌고 있으며, 기존 연구들은 학습 데이터 쌍이 완벽하게 정렬되어 있다는 암묵적인 가정에 크게 의존하고 있다. 그러나 현실적으로 데이터 쌍이 불일치하는 경우가 불가피하므로, 이러한 이상적인 가정은 매우 비현실적이다. 이러한 불일치 데이터 쌍은 노이즈 있는 대응(noisy correspondence)으로 알려져 있으며, 잘못된 방식으로 불일치한 데이터를 유사하게 만들게 되어 성능 저하를 유발할 수 있다. 일부 최신 연구들은 이 문제를 해결하려는 시도를 하고 있지만, 여전히 두 가지 도전적인 문제에 직면해 있다: 1) 학습 효율성을 저해하는 신뢰할 수 없는 데이터 분할 및 2) 매칭 실패를 초래하는 불안정한 예측. 이러한 문제를 해결하기 위해, 노이즈에 강건한 교차 모달 매칭을 달성하기 위한 효율적인 불확실성 유도 노이즈 대응 학습(Uncertainty-Guided Noisy Correspondence Learning, UGNCL) 프레임워크를 제안한다. 구체적으로, 유도된 불확실성의 잠재적 이점을 활용하여 데이터를 정제된 데이터, 노이즈 데이터, 어려운 데이터로 신뢰성 있게 분할하는 새로운 불확실성 유도 분할(Uncertainty Guided Division, UGD) 알고리즘을 설계하였다. 이는 쉽게 판단 가능한 노이즈 쌍의 영향을 효과적으로 완화할 수 있다. 동시에, 어려운 데이터 파티션에 속한 데이터 쌍에 대해 불확실성을 기반으로 신뢰할 수 있는 오류 있는 소프트 대응 레이블로 보정된 소프트 마진을 재정의하는 효율적인 신뢰성 강화 손실(Trusted Robust Loss, TRL)을 명시적으로 설계하였다. 이를 통해 일치하는 쌍의 중요도를 증가시키고, 불일치하는 쌍의 중요도를 감소시켜 노이즈 쌍의 영향을 완화하고, 전체적인 강건성을 향상시킨다. 공개된 세 가지 데이터셋에서 수행된 광범위한 실험을 통해 제안된 프레임워크의 우수성을 입증하였으며, 기존 최첨단 기법들과 경쟁 가능한 성능을 보였다. 코드는 https://github.com/qxzha/UGNCL 에서 공개되어 있다.