크로스모달 검색

크로스-모달 검색(CMR)은 이미지, 텍스트, 비디오, 오디오 등 서로 다른 모달에서 관련 항목을 검색하는 작업입니다. 이 작업의 핵심 난점은 모달 간의 이질성 격차에 있습니다. 즉, 서로 다른 모달의 데이터는 독특한 표현 형태를 가지고 있어 직접적인 비교가 어려운 것입니다. 이러한 문제를 해결하기 위해 대부분의 CMR 방법론은 서로 다른 모달의 개념을 같은 차원으로 투영하여 유사성을 거리 측정법을 통해 평가할 수 있는 공유 잠재 임베딩 공간을 학습하는 데 초점을 맞춥니다. 이 작업은 멀티미디어 정보 검색, 추천 시스템, 인간-컴퓨터 상호작용 등의 분야에서 큰 응용 가치를 가지고 있습니다.