텍스트와 이미지를 결합한 이미지 검색 - 경험적 오디세이

본 논문에서는 이미지 검색 작업을 연구합니다. 이 작업에서 입력 쿼리는 원하는 수정 사항을 설명하는 텍스트와 함께 이미지 형태로 지정됩니다. 예를 들어, 에펠탑의 이미지를 제시하고 시스템에게 주간 대신 야간에 찍힌 비슷한 이미지를 찾도록 요청할 수 있습니다. 이러한 작업을 해결하기 위해, 우리는 목표 이미지와 소스 이미지 및 소스 텍스트 간의 유사성 메트릭을 학습하며, 이를 통해 목표 이미지 특성이 소스 이미지와 텍스트 조합 특성에 가깝도록 임베딩 및 조합 함수를 설계합니다. 우리는 검색 작업에 맞게 설계된 이러한 함수를 사용하여 이미지와 텍스트를 결합하는 새로운 방법을 제안합니다. 실험 결과, 본 방법이 Fashion-200k, MIT-States 그리고 CLEVR 기반으로 생성한 새로운 합성 데이터셋 등 3가지 다른 데이터셋에서 기존 접근 방식보다 우수함을 입증하였습니다. 또한, 우리의 접근 방식이 이미지 검색뿐만 아니라 입력 쿼리 분류에도 활용될 수 있음을 보여주었습니다.