DSSL: 텍스트 기반 개인 검색을 위한 깊은 주변-개인 분리 학습

많은 이전의 텍스트 기반 개인 검색 작업 방법들은 시각적 및 텍스트 모달리티에서 모달리티 불변 특성을 추출하기 위해 잠재적인 공통 공간 매핑을 학습하는 데 주력해 왔습니다. 그러나 고차원 데이터의 복잡성으로 인해 제약이 없는 매핑 패러다임은 해당 개인에 대한 차별화된 단서를 적절히 포착하면서 오류 정보를 제거할 수 없습니다. 직관적으로, 시각적 데이터에 포함된 정보는 상호 배타적인 개인 정보(PI)와 환경 정보(SI)로 나눌 수 있습니다. 이를 해결하기 위해 본 논문에서는 효과적인 개인 정보 추출 및 일치를 통해 우수한 검색 정확도를 달성할 수 있는 새로운 딥 서라운딩스-개인 분리 학습(DSSL) 모델을 제안합니다. 서라운딩스-개인 분리 및 융합 메커니즘이 상호 배타적 제약 하에서 정확하고 효과적인 서라운딩스-개인 분리를 실현하는 핵심 역할을 합니다. 더 높은 검색 정확도를 위해 다중 모달리티 및 다중 세분화 정보를 충분히 활용하기 위하여 5가지 다양한 정렬 패러다임이 채택되었습니다. 광범위한 실험을 수행하여 제안된 DSSL을 CUHK-PEDES 데이터셋에서 평가하였으며, 이는 현재 텍스트 기반 개인 검색 작업에 접근 가능한 유일한 데이터셋입니다. DSSL은 CUHK-PEDES에서 최고 성능을 달성하였습니다. 실제 시나리오에서 제안된 DSSL을 적절히 평가하기 위해, 텍스트 기반 개인 재식별을 위한 실제 시나리오 데이터셋(RSTPReid)이 구축되어 향후 연구에 도움이 될 것이며, 공개될 예정입니다.