NAC: 이웃 보조 보정기를 통한 다중 모달 매칭에서 노이즈 있는 대응관계 완화

교차 모달 매칭 내에서 노이즈가 포함된 대응 관계는 기존 매칭 방법의 성능을 크게 저해하고 있다. 본 논문에서는 유사한 텍스트 대상들을 나타내는 이웃 정보를 활용하여 노이즈를 완화하는 강건한 프레임워크인 Neighbor Auxiliary Corrector(NAC)을 제안한다. NAC는 유사한 텍스트들이 일반적으로 유사한 이미지와 대응하는 경향이 있다는 관찰에서 영감을 얻었다. 사전 훈련된 언어 모델(Pre-trained Language Models, PLMs)의 제로샷 능력을 활용해 각 긍정적인 이미지-텍스트 쌍에 대해 상위-k개의 가장 가까운 이웃을 식별한다. 이후 이러한 이웃들이 제공하는 보조 정보를 샘플 검증과 샘플 보정에 활용한다. 기준 데이터셋에서 실시한 광범위한 실험을 통해 제안하는 프레임워크가 성능을 크게 향상시키며, 다양한 수준의 노이즈 있는 대응 관계에 대해 더 뛰어난 강건성을 보임을 입증하였다.