프로토타입 기반의 알레아토릭 불확실성 측정을 이용한 크로스 모달 검색

다중 모달 검색 방법은 시각과 언어 모달 간의 유사성 관계를 공동 표현 공간을 학습함으로써 구축합니다. 그러나, 데이터 품질이 낮은 경우 예를 들어 손상된 이미지, 빠른 페이스의 비디오, 상세하지 않은 텍스트 등으로 인해 알레토릭 불확실성이 발생하여 예측이 종종 신뢰할 수 없게 됩니다. 본 논문에서는 이러한 내재적 데이터 애매성에서 발생하는 불확실성을 측정하여 신뢰할 수 있는 예측을 제공하기 위한 새로운 프로토타입 기반 알레토릭 불확실성 측정(PAU) 프레임워크를 제안합니다. 구체적으로, 각 모달에 대해 전체 의미 부분공간을 나타내기 위해 다양한 학습 가능한 프로토타입 집합을 먼저 구성합니다. 그런 다음 덩스터-셔퍼 이론(Dempster-Shafer Theory)과 주관적 논리 이론(Subjective Logic Theory)을 이용하여 증거를 디리클레 분포(Dirichlet Distribution) 매개변수와 연관시키는 증거 이론적 프레임워크를 구축합니다. PAU 모델은 다중 모달 검색에 대해 정확한 불확실성과 신뢰할 수 있는 예측을 유도합니다. MSR-VTT, MSVD, DiDeMo, MS-COCO 네 가지 주요 벤치마크 데이터셋에서 광범위한 실험이 수행되어 본 방법의 효과성이 입증되었습니다. 코드는 https://github.com/leolee99/PAU에서 접근 가능합니다.