노이즈 있는 대응 학습과 자기 강화 오류 완화

다중 모달 검색은 실제로 많은 노동을 필요로 하는 잘 일치하는 대규모 데이터셋에 의존합니다. 최근에는 비용이 많이 드는 데이터 수집을 완화하기 위해 인터넷에서 공존하는 쌍들을 자동으로 수집하여 훈련에 활용하고 있습니다. 그러나 이 과정에서 불가피하게 일치하지 않는 쌍, 즉 노이즈가 포함되는데, 이는 감독의 신뢰성을 저하시키고 성능을 떨어뜨립니다. 현재의 방법들은 깊은 신경망의 기억 효과를 활용하여 노이즈를 처리하나, 이는 과도하게 \emph{유사성 기반 훈련과 어려운 부정 예제(hard negatives)}에 집중하여 자기 강화 오류(self-reinforcing errors)를 겪습니다. 이러한 문제점을 해결하기 위해 우리는 새로운 노이즈 대응 학습 프레임워크인 \textbf{S}elf-\textbf{R}einforcing \textbf{E}rrors \textbf{M}itigation (SREM)을 소개합니다.특히, 배치 내에서 샘플 매칭을 분류 작업으로 간주하여 주어진 샘플에 대한 분류 로짓(classification logits)을 생성합니다. 단일 유사성 점수 대신 에너지 불확실성(energy uncertainty)을 통해 샘플 필터링을 개선하고, 전체 예측 분포를 고려하여 선택된 청결한 샘플(clean samples)에 대한 모델의 민감도를 교환된 분류 엔트로피(swapped classification entropy)를 사용하여 추정합니다. 또한, 우리는 어려운 부정 예제 훈련에서 간과되었던 부정 매칭(negative matches)을 활용하기 위한 다중 모달 편향 보완 학습(cross-modal biased complementary learning)을 제안합니다. 이 방법은 모델 최적화의 안정성을 더욱 개선하고 자기 강화 오류를 억제하는 역할을 합니다. 다양한 도전적인 벤치마크에서 수행된 광범위한 실험 결과 SREM의 효율성과 효과성이 확인되었습니다.