f-VAEGAN-D2: 임의 샷 학습을 위한 특징 생성 프레임워크

라벨이 지정된 훈련 데이터가 부족할 때, 유망한 데이터 증강 접근 방식은 클래스의 속성을 사용하여 알려지지 않은 클래스의 시각적 특징을 생성하는 것이다. CNN 특징의 클래스 조건부 분포를 학습하기 위해 이러한 모델들은 이미지 특징과 클래스 속성의 쌍에 의존한다. 따라서, 라벨이 지정되지 않은 대량의 데이터 샘플을 활용할 수 없다. 본 논문에서는 귀납적 학습과 전달적 학습 설정에서 모두 작동하는 통합된 특징 생성 프레임워크를 통해 제로샷 및 소수 샷 학습 문제를 다룬다. 우리는 VAE와 GANs의 장점을 결합한 조건부 생성 모델을 개발하였으며, 무조건부 판별기를 통해 라벨이 지정되지 않은 이미지들의 주변 특징 분포를 학습한다. 실험적으로 본 모델이 CUB, SUN, AWA, ImageNet 등 5개 데이터셋에 대해 매우 구분력 있는 CNN 특징을 학습함을 보여주며, 귀납적 및 전달적 (일반화된) 제로샷 및 소수 샷 학습 설정에서 새로운 최신 기술(SOTA)을 확립하였다. 또한, 우리가 학습한 특징들이 해석 가능하다는 것을 시연하였다: 이들을 픽셀 공간으로 역전환하여 시각화하였으며, 특정 라벨과 연관되는 이유를 설명하기 위해 텍스트 인자를 생성하였다.