텍스트 기반 인물 검색을 위한 간단하고 강건한 상관 필터링 방법

텍스트 기반 인물 검색(Text-based person search)은 보행자 이미지를 자연어 설명과 연관짓는 것을 목표로 한다. 이 작업에서 정체성과 설명 간에 구분 가능한 표현을 효과적으로 추출하고 이를 정렬하는 것은 필수적이지만 동시에 도전적인 과제이다. 기존 대부분의 방법들은 노이즈가 포함된 입력에서 관련 영역이나 단어를 선택하기 위해 추가적인 언어 파서나 비전 기술에 의존하고 있다. 그러나 이러한 접근은 높은 계산 비용과 피할 수 없는 오류 누적이 발생한다. 더불어, 단순히 수평 분할 이미지를 사용하여 국소 수준의 특징을 추출하는 방식은 모델의 신뢰성에도 악영향을 미칠 수 있다. 본 논문에서는 키 포인트를 효과적으로 추출하고 구분 가능한 특징을 적응적으로 정렬할 수 있는 새로운 엔드투엔드 간단하고 강건한 상관 필터링(Simple and Robust Correlation Filtering, SRCF) 방법을 제안한다. 기존 연구들과 달리, 우리의 프레임워크는 템플릿과 입력 간의 유사도를 계산하는 데 초점을 맞추고 있다. 특히, 중요한 특징을 추출하고 다중 모달 맵핑을 구축하기 위해 두 가지 다른 유형의 필터링 모듈(즉, 노이즈 제거 필터와 사전 기반 필터)을 설계하였다. 광범위한 실험 결과는 제안하는 방법이 모델의 강건성을 향상시키고 두 개의 텍스트 기반 인물 검색 데이터셋에서 우수한 성능을 달성함을 보여주었다. 소스 코드는 https://github.com/Suo-Wei/SRCF 에서 제공된다.