일반화된 제로-샷 및 소수 샷 학습을 위한 정렬된 변분 오토인코더

일반화된 제로샷 학습의 많은 접근 방식은 이미지 특성 공간과 클래스 임베딩 공간 사이의 크로스-모달 매핑에 의존합니다. 라벨이 부착된 이미지는 비용이 많이 들기 때문에, 하나의 방향은 이미지를 생성하거나 이미지 특성을 생성하여 데이터셋을 확장하는 것입니다. 그러나 전자는 세부 정보를 놓치고 후자는 클래스 임베딩과 관련된 매핑을 학습해야 하는 문제가 있습니다. 본 연구에서는 특성 생성을 한 단계 더 발전시키고, 모달리티별 정렬된 변분 오토인코더를 통해 이미지 특성과 클래스 임베딩의 공유 잠재 공간을 학습하는 모델을 제안합니다. 이 방법으로 우리는 이미지와 클래스에 대한 필요한 차별적 정보를 잠재 특성에서 얻게 되며, 이를 기반으로 소프트맥스 분류기를 훈련시킵니다. 우리의 접근 방식의 핵심은 이미지에서 학습한 분포와 보조 정보(side-information)에서 학습한 분포를 정렬하여, 미확인 클래스와 관련된 필수적인 다중 모달 정보를 포함하는 잠재 특성을 구성하는 것입니다. 우리는 CUB, SUN, AWA1 및 AWA2 등의 여러 벤치마크 데이터셋에서 학습한 잠재 특성을 평가하고, 일반화된 제로샷 학습뿐만 아니라 몇몇 샷(few-shot) 학습에서도 새로운 최신 기술(state of the art)을 설정하였습니다. 또한, 다양한 제로샷 분할 조건下的 ImageNet 결과는 우리의 잠재 특성이 대규모 환경에서도 잘 일반화됨을 보여줍니다.注：在最后一句中，“下的”这个词是中文，可能是原文中的误植。根据上下文，正确的翻译应该是："또한, 다양한 제로샷 분할 조건下的 ImageNet 결과는 우리의 잠재 특성이 대규모 환경에서도 잘 일반화됨을 보여줍니다."修正后的句子为："또한, 다양한 제로샷 분할 조건에 따른 ImageNet 결과는 우리의 잠재 특성이 대규모 환경에서도 잘 일반화됨을 보여줍니다."