노이즈 있는 대응 관계를 이용한 학습

이 논문은 노이즈 레이블에 대한 새로운 학습 패러다임인 노이즈 대응관계(Noisy Correspondence, NC)를 탐구한다. 기존에 널리 연구되어 온 노이즈 레이블은 샘플의 카테고리 레이블에 발생하는 오류를 다루는 반면, NC는 두 데이터 포인트 간의 정렬 관계에 발생하는 오류를 의미한다. 특히 인터넷에서 수집한 데이터에서 이러한 오류 긍정 쌍(즉, 잘못된 대응 관계)은 흔히 존재하지만, 대부분의 기존 연구에서는 이를 간과하고 있다. 본 연구에서는 크로스모달 검색을 사례로 삼아, 노이즈 대응관계를 고려한 학습(Learning with Noisy Correspondence, LNC)이라는 새로운 방법을 제안한다. 간략히 설명하면, LNC는 원시 데이터로부터 먼저 깨끗한 데이터와 노이즈가 포함된 데이터 하위집합을 근사적으로 추출한 후, 새로운 적응형 예측 함수를 활용하여 오류 긍정 쌍을 보정한다. 이후 LNC는 소프트 마진을 갖춘 새로운 트리플릿 손실을 도입하여 크로스모달 검색이 NC에 대해 강건함을 부여한다. 제안된 LNC의 효과를 검증하기 위해, 이미지-텍스트 및 비디오-텍스트 검색 과제에서 사용되는 6개의 벤치마크 데이터셋에 실험을 수행하였다. 실험 결과는 LNC의 효과성을 입증할 뿐만 아니라, 표준 모델 학습 패러다임뿐 아니라 사전학습 및 미세조정 패러다임에서도 NC 문제에 대해 명시적인 해결 방안이 필수적임을 보여준다.