잠재 임베딩 피드백과 구분 특징을 통한 제로샷 분류

제로샷 학습은 학습 과정에서 어떤 데이터도 제공되지 않은 미지의 카테고리를 분류하는 것을 목표로 한다. 일반화된 제로샷 학습(variant)에서는 테스트 샘플이 이미 보았던 카테고리 또는 미지의 카테고리에 속할 수 있다. 현재 최고 성능을 달성하는 방법은 생성적 적대 신경망(GAN)을 활용하여 클래스별 의미적 임베딩(semantic embeddings)을 이용해 미지 클래스의 특징을 합성하는 것이다. 학습 과정에서는 의미적으로 일관된 특징을 생성하지만, 특징 합성 및 분류 단계에서는 이 제약을 무시한다. 본 논문에서는 일반화된 제로샷 학습의 모든 단계—학습, 특징 합성, 분류—에서 의미적 일관성을 강제하는 새로운 접근법을 제안한다. 먼저, 의미적 임베딩 디코더에서 피드백 루프를 도입하여 학습 단계와 특징 합성 단계 모두에서 생성된 특징을 반복적으로 개선한다. 이후 디코더에서 얻은 잠재적 임베딩과 함께 합성된 특징을 분류에 유리한 특징으로 변환하여, 카테고리 간의 모호성을 줄이는 데 활용한다. 제안된 방법은 일반화된 제로샷 객체 및 동작 분류에 대한 실험을 통해 의미적 일관성과 반복적 피드백의 효과를 입증하였으며, 6개의 제로샷 학습 벤치마크에서 기존 방법들을 상회하는 성능을 보였다. 소스 코드는 https://github.com/akshitac8/tfvaegan 에서 확인할 수 있다.