REPAIR: 순위 상관 관계와 기억력을 활용한 노이즈 대응 쌍의 반치환

획득된 데이터에 노이즈가 존재하면 이는 항상 모달 간 매칭의 성능 저하를 초래합니다. 불행히도 다중모달 분야에서 정확한 주석을 얻는 것은 비용이 많이 들기 때문에, 이는 일부 방법들이 모달 간 매칭 상황에서 노이지 코레스폰던스(noisy correspondence) 문제, 즉 매칭되지 않은 데이터 쌍 문제를 해결하기 위해 개발되도록 유도하였습니다. 그러나 이러한 대부분의 기존 노이지 코레스폰던스 방법들은 다음과 같은 제한점을 보입니다: a) 자기 강화 오류 누적(self-reinforcing error accumulation) 문제, 그리고 b) 노이지 데이터 쌍의 부적절한 처리(improper handling of noisy data pair). 이러한 두 가지 문제를 해결하기 위해, 우리는 매칭된 쌍들의 특성을 저장하는 메모리 뱅크(memory bank)를 유지함으로써 이점을 얻는 일반화된 프레임워크인 순위 상관 관계와 노이지 쌍 반치환을 이용한 메모리(REPAIR; Rank corrElation and noisy Pair hAlf-replacing wIth memoRy)를 제안합니다. 구체적으로, 각 모달에 대해 메모리 뱅크 내의 특성들과 대상 쌍의 특성들 사이의 거리를 계산하고, 이 두 거리 집합의 순위 상관 관계를 사용하여 대상 쌍의 부드러운 대응 라벨(soft correspondence label)을 추정합니다. 메모리 뱅크의 특성을 기반으로 부드러운 대응을 추정하는 것이 유사성 네트워크(similarity network)를 사용하는 것보다 잘못된 네트워크 식별로 인한 오류 누적을 피할 수 있습니다. 완전히 매칭되지 않은 쌍들의 경우, REPAIR는 메모리 뱅크에서 가장 잘 맞는 특성을 찾아 하나의 모달에 대한 한 특성을 교체하며, 원래 쌍을 직접 사용하거나 단순히 매칭되지 않은 쌍을 버리는 대신 이를 수행합니다. 우리는 Flickr30K, MSCOCO, CC152K라는 세 가지 모달 간 데이터셋에서 실험을 수행하여 우리의 REPAIR 방법론이 합성 및 실제 세계 노이즈에 대해 효과적이고 견고함을 입증하였습니다.