Generative Zero-Shot Learning의 불변성 측면 활용

전통적인 제로샷 학습(ZSL) 방법은 일반적으로 임베딩, 예를 들어 시각-의미 매핑을 학습하여 간접적인 방식으로 미확인 시각 샘플을 처리합니다. 본 논문에서는 생성적 적대 네트워크(GANs)의 장점을 활용하여 새로운 방법인 불변 측면 GAN(LisGAN, Leveraging Invariant Side GAN)을 제안합니다. 이 방법은 랜덤 노이즈와 의미 설명을 조건으로 하여 직접 미확인 특성을 생성할 수 있습니다. 구체적으로, 조건부 와터스타인 GANs를 훈련시키는데, 생성자는 노이즈로부터 가짜 미확인 특성을 합성하고, 판별자는 최소최대 게임을 통해 가짜와 실제를 구분합니다. 하나의 의미 설명이 다양한 합성 시각 샘플에 대응할 수 있으며, 의미 설명이 비유적으로 생성된 특성의 영혼이라고 할 수 있다는 점을 고려하여, 본 논문에서는 생성적 제로샷 학습의 불변 측면으로 영혼 샘플(soul samples)을 도입합니다. 영혼 샘플은 한 클래스의 메타 표현입니다. 같은 범주 내의 각 샘플에서 가장 의미 있는 측면들을 시각화합니다. 우리는 각 생성된 샘플(생성적 ZSL의 변동 측면)이 동일한 클래스 라벨을 가진 적어도 하나의 영혼 샘플(불변 측면)과 가까워야 함을 규제합니다. 제로샷 인식 단계에서는 두 개의 분류기를 연속적으로 배치하여 거시적에서 세부적인 결과를 달성하도록 제안합니다. 다섯 가지 유명한 벤치마크에서 수행한 실험은 우리의 제안된 접근법이 현존하는 최고 성능 방법들보다 크게 우수함을 입증하였습니다.