자동 공간 인식 패션 개념 발견

본 논문은 쇼핑 웹사이트에서 얻은 약간의 라벨이 부착된 이미지-텍스트 데이터를 사용하여 자동으로 공간 인식 개념을 발견하는 방법을 제안합니다. 먼저, 의류 이미지와 해당 설명을 시각-언어 임베딩 공간에서 공동 모델링하여 GoogleNet을 미세 조정(fine-tune)합니다. 그런 다음, 각 속성(단어)에 대해 그의 의미론적 단어 벡터 표현과 미세 조정된 네트워크의 컨볼루션 맵에서 유도된 공간 표현을 결합하여 공간 인식 표현을 생성합니다. 이렇게 생성된 공간 인식 표현은 여러 그룹으로 속성을 클러스터링하여 공간 인식 개념(예: 목선 부분 개념은 V넥, 라운드넥 등의 속성을 포함할 수 있음)을 형성하는 데 활용됩니다. 마지막으로, 시각-언어 임베딩 공간을 여러개의 개념별 하위 공간으로 분해하여 다중 모달 언어 규칙을 활용한 구조화된 검색과 속성 피드백 기반 제품 검색을 용이하게 합니다. 우리는 새로 수집한 Fashion200K 데이터셋에서 광범위한 실험을 수행하였으며, 클러스터링 품질 평가 및 속성 피드백 기반 제품 검색 작업에 대한 결과는 우리 방법이 자동으로 발견한 공간 인식 개념의 효과성을 입증하였습니다.