Meta-Transfer Learning for Few-Shot Learning 메타-트랜스퍼 학습을 이용한 소수 샘플 학습

메타-러닝은 어려운 소수 샘플 학습(few-shot learning) 환경을 해결하기 위한 프레임워크로 제안되었습니다. 이 접근법의 핵심 아이디어는 유사한 많은 소수 샘플 작업을 활용하여, 단지 몇 개의 라벨된 샘플만 있는 새로운 작업에 기초 학습기(base-learner)를 적응시키는 방법을 배우는 것입니다. 딥 뉴럴 네트워크(DNNs)는 소수의 샘플만으로 과적합(overfitting) 경향이 있으므로, 메타-러닝은 일반적으로 얕은 신경망(SNNs)을 사용하여 그 효과가 제한됩니다. 본 논문에서는 딥 NN을 소수 샘플 학습 작업에 적응시키는 새로운 소수 샘플 학습 방법인 메타-트랜스퍼 러닝(Meta-Transfer Learning, MTL)을 제안합니다. 구체적으로, "메타"는 여러 작업을 훈련하는 것을 의미하고, "트랜스퍼"는 각 작업에 대한 DNN 가중치의 스케일링 및 시프팅 함수를 학습함으로써 이루어집니다. 또한, 우리는 MTL에 대한 효과적인 학습 커리큘럼으로 하드 태스크(Hard Task, HT) 메타 배치 방식을 소개합니다. 우리는 두 가지 도전적인 소수 샘플 학습 벤치마크인 miniImageNet과 Fewshot-CIFAR100에서 (5클래스, 1샷) 및 (5클래스, 5샷) 인식 작업을 사용하여 실험을 수행했습니다. 관련 연구와의 광범위한 비교를 통해 제안된 HT 메타 배치 방식으로 훈련된 우리의 메타-트랜스퍼 러닝 접근법이 최고 성능을 달성한다는 것을 검증하였습니다. 또한 감소 실험이(ablation study) 두 구성 요소가 빠른 수렴과 높은 정확도에 기여함을 보여주었습니다.