기하학적 구조 일관성 학습을 통한 노이즈 대응 완화

모달 간 데이터 쌍에서 발생하는 불일치를 나타내는 노이즈 대응은 사람에 의해 주석이 달린 데이터셋이나 웹 크롤링을 통해 수집된 데이터셋에서 흔히 볼 수 있습니다. 이전의 접근 방식은 이러한 데이터를 활용할 때 주로 단일 모달의 노이즈 라벨 학습에 초점을 맞추었으며, 다중 모달 학습에서 모달 간 및 모달 내 기하학적 구조에 미치는 영향을 수정하지 않았습니다. 실제로, 우리는 잘 구성된 두 가지 구조 모두가 구조적 차이를 통해 노이즈 대응을 효과적으로 구분할 수 있다는 것을 발견했습니다. 이 관찰에 착안하여, 우리는 진정한 대응을 추론하기 위한 기하학적 구조 일관성(Geometrical Structure Consistency, GSC) 방법을 제안합니다. 구체적으로, GSC는 모달 내부와 모달 간의 기하학적 구조를 보존함으로써 구조적 차이를 바탕으로 노이즈 샘플을 정확하게 구분할 수 있도록 합니다. 이러한 추론된 진정한 대응 라벨을 활용하여 GSC는 노이즈 샘플을 필터링함으로써 기하학적 구조의 학습을 개선합니다. 네 개의 모달 간 데이터셋에서 수행된 실험들은 GSC가 노이즈 샘플을 효과적으로 식별하고 현재 선도적인 방법들보다 크게 우수하다는 것을 확인해주었습니다.