초록
소수 샘플 학습(few-shot learning)은 각각의 작업을 독립적으로 그리고 처음부터 학습하는 알고리즘에게는 도전적인 문제입니다. 반면에 메타-학습(meta-learning)은 많은 관련 작업들로부터 메타-러너(meta-learner)를 학습하여, 적은 예제로 새로운 작업을 더 정확하고 빠르게 학습할 수 있게 합니다. 여기서 메타-러너의 선택이 매우 중요합니다. 본 논문에서는 Meta-SGD라는, SGD와 유사하며 쉽게 훈련할 수 있는 메타-러너를 개발하였습니다. 이 메타-러너는 지도 학습과 강화 학습 모두에서 단 한 단계로 어떤 미분 가능한 러너도 초기화하고 적응시킬 수 있습니다. 인기 있는 메타-러너인 LSTM과 비교하면, Meta-SGD는 개념적으로 더 간단하며 구현하기 쉽고, 더 효율적으로 학습될 수 있습니다. 최신 메타-러너인 MAML과 비교하면, Meta-SGD는 러너 초기화뿐만 아니라 러너 업데이트 방향과 학습률까지 학습하여, 단일 메타-학습 과정에서 훨씬 더 큰 용량을 갖습니다. Meta-SGD는 회귀, 분류, 강화 학습에서 소수 샘플 학습에 있어 매우 경쟁력 있는 성능을 보여주었습니다.