원격 감지용 합성 이미지 검색

이 연구는 원격 감시 분야에 복합 이미지 검색을 소개합니다. 이 방법은 시각적 예제와 텍스트 설명을 번갈아가며 사용하여 대규모 이미지 아카이브를 쿼리할 수 있게 하며, 시각적 또는 텍스트 쿼리만으로 이루어진 단일 모달 쿼리보다 설명력이 향상됩니다. 텍스트 부분을 통해 다양한 속성을 수정할 수 있으며, 이는 형태, 색상, 맥락 등을 포함합니다. 이미지-이미지 유사성과 텍스트-이미지 유사성을 융합하는 새로운 방법론이 제안되었습니다. 우리는 비전-언어 모델이 충분한 설명력을 가지고 있으며, 추가적인 학습 과정이나 학습 데이터가 필요하지 않음을 입증하였습니다. 또한, 색상, 맥락, 밀도, 존재 여부, 양, 형태 등의 수정에 초점을 맞춘 새로운 평가 벤치마크를 제시합니다. 본 연구는 이 작업에서 최신 기술 수준을 설정함은 물론, 원격 감시 이미지 검색 분야의 공백을 해결하는 기초적인 단계로도 역할합니다. 코드: https://github.com/billpsomas/rscir