.ZERO-SHOT 다중 레이블 분류를 위한 의미 다양성 학습

다중 라벨을 인식하는 신경망 모델을 훈련시키는 것은 특히 이미지가 여러 가지 의미적으로 다양한 라벨을 표현할 때, 미리 본 적 없는 라벨을 식별하는 것을 포함하여 어려운 과제입니다. 이 작업은 매우 도전적이지만, 자연 이미지의 검색과 같은 많은 실제 사례를 나타내므로 해결해야 하는 필수적인 과제입니다. 우리는 일반적으로 사용되는 단일 임베딩 벡터로 이미지를 표현하는 것이 관련된 기존 라벨과 미리 본 적 없는 라벨을 정확히 순위 매기는 데 충분하지 않다고 주장합니다. 본 연구에서는 이미지와 라벨의 의미적 다양성을 지원하는 다중 라벨 제로샷 학습을 위한 엔드투엔드 모델 훈련 방법을 소개합니다. 우리는 특화된 손실 함수를 사용하여 주요 임베딩 벡터를 훈련시킨 임베딩 행렬의 사용을 제안합니다. 또한 훈련 중에, 의미적 다양성이 더 높은 이미지 샘플의 손실 함수에서 가중치를 증가시켜 임베딩 행렬의 다양성을 촉진하기 위해 제안합니다. 광범위한 실험 결과, 제안된 방법이 태그 기반 이미지 검색에서 제로샷 모델의 품질을 개선하며, 여러 일반적인 데이터셋(NUS-Wide, COCO, Open Images)에서 최상의 결과(SoTA)를 달성함을 보여주었습니다.