메타-GMVAE: 비지도 메타학습을 위한 가우시안 VAE의 혼합

비지도 학습은 레이블이 없는 데이터로부터 그 내재적 구조를 포착하는 유의미한 표현을 학습하려는 목표를 가지고 있으며, 이러한 표현은 후속 작업에 전이될 수 있다. 메타학습은 다양한 작업 간에 일반화할 수 있는 능력을 학습함으로써, 새로운 작업에 빠르게 적응할 수 있는 모델을 개발하는 것을 목표로 하며, 이는 새로운 학습에서 시작하는 것보다 더 효과적이고 효율적인 학습 절차를 학습하고자 하는 비지도 학습의 정신과 공유한다. 그러나 두 접근법의 근본적인 차이점은 메타학습의 대부분의 방법들이 지도 학습 기반이라는 점이다. 즉, 레이블에 대한 완전한 접근을 전제로 한다. 그러나 메타학습을 위한 레이블이 부여된 데이터셋을 확보하는 것은 인간의 레이블링 노력이 필요하므로 비용이 크며, 또한 사전 정의된 작업 분포에만 적용 가능하다는 한계가 있다. 본 논문에서는 변분 오토인코더(Variational Autoencoder, VAE)와 집합 수준의 변분 추론을 기반으로 한 체계적인 비지도 메타학습 모델인 Meta-GMVAE를 제안한다. 또한, 각 모달리티가 무작위로 샘플링된 에피소드에서 각 클래스 개념을 나타낸다는 가정 하에 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 사전 분포를 도입하며, 이는 기대값 최대화(Expectation-Maximization, EM) 알고리즘을 통해 최적화한다. 이후 학습된 모델은 후속 작업으로서의 소수 샘플 분류 작업에 활용되며, 지지 세트와 쿼리 세트의 잠재 표현에 대해 반지도 EM을 수행하여 작업별 파라미터를 추정하고, 쿼리 세트의 레이블을 집합된 사후 확률을 계산함으로써 예측한다. 제안된 모델은 Omniglot 및 Mini-ImageNet 데이터셋을 대상으로 후속 작업인 소수 샘플 분류 성능을 평가함으로써 검증되었으며, 기존의 비지도 메타학습 기준 모델들에 비해 뛰어난 성능 향상을 보였다. 특히 특정 설정에서는 지도 학습 기반의 MAML보다도 우수한 성능을 기록하였다.