생성적 다중 라벨 제로샷 학습

다중 라벨 제로샷 학습은 훈련 중에 데이터가 없는 여러 미지의 범주로 이미지를 분류하는 것을 목표로 합니다. 일반화된 변형에서는 테스트 샘플이 추가적으로 기존 범주를 포함할 수 있습니다. 기존 접근 방식은 공유된 주의나 라벨별 주의를 기존 클래스에서 학습하는 데 의존합니다. 그러나, 다중 라벨 환경에서 추론 시 미지 클래스에 대한 신뢰성 있는 주의 맵을 계산하는 것은 여전히 도전적인 문제입니다.반면에, 최신 단일 라벨 생성적 적대 네트워크(GAN) 기반 접근 방식은 해당 클래스 속성 임베딩에서 직접 클래스 특화 시각적 특징을 합성하는 방법을 학습합니다. 그러나, 제로샷 환경에서 GAN을 사용하여 다중 라벨 특징을 합성하는 것은 아직 연구되지 않았습니다. 본 연구에서는 속성 수준, 특징 수준 및 크로스 수준(속성과 특징 수준 간)에서 다양한 융합 방법을 소개하여 해당 다중 라벨 클래스 임베딩으로부터 다중 라벨 특징을 합성합니다.우리의 지식으로는, 본 연구가 (일반화된) 제로샷 환경에서 다중 라벨 특징 합성을 해결한 첫 번째 작업입니다. NUS-WIDE, Open Images 및 MS COCO 세 가지 제로샷 이미지 분류 벤치마크에서 포괄적인 실험이 수행되었습니다. 우리의 크로스 수준 융합 기반 생성 접근 방식은 모든 세 데이터셋에서 최신 방법보다 우수한 성능을 보였습니다. 또한, MS COCO에서 제로샷 탐지 작업의 일반화 능력을 검증하였으며, 기존 방법들 대비 유리한 성능을 달성하였습니다.소스 코드는 https://github.com/akshitac8/Generative_MLZSL 에서 제공됩니다.