초록
Meta-learning을 이용한 few-shot learning은 이전의 작업과 경험에 대한 사전 지식을 획득하여 새로운 작업을 적은 양의 데이터로 학습할 수 있도록 하는 것을 의미합니다. 그러나 few-shot learning에서 중요한 문제는 작업 모호성(task ambiguity)입니다: 강력한 사전 지식이 많은 이전 작업으로부터 메타-학습될 수 있더라도, 새로운 작업에 대한 작은 데이터셋은 단일 모델(예를 들어, 분류기)을 정확하게 학습하는 데 너무 모호할 수 있습니다. 본 논문에서는 새로운 작업에 대해 모델 분포로부터 샘플링할 수 있는 확률적 메타-학습 알고리즘을 제안합니다. 우리의 접근 방식은 그래디언트 하강을 통해 새로운 작업에 적응하는 model-agnostic meta-learning(MAML)을 확장하여, 변분 하한(variational lower bound)을 통해 훈련된 매개변수 분포를 통합합니다. 메타-테스트 시에는 그래디언트 하강에 노이즈를 주입하는 간단한 절차를 통해 적응하며, 메타-훈련 시에는 이러한 확률적 적응 절차가 근사적인 모델 후방 분포(approximate model posterior)로부터 샘플링하도록 모델을 훈련시킵니다. 실험 결과, 우리의 방법이 모호한 few-shot learning 문제에서 타당한 분류기와 회귀기를 샘플링할 수 있음을 보여주었습니다. 또한, 모호성에 대한 추론이 다운스트림 active learning 문제에도 활용될 수 있음을 입증하였습니다.