초록
다수의 소량 샘플 학습(few-shot learning)을 위한 메타학습 접근 방식은 최근접 이웃 분류기와 같은 간단한 기본 학습자에 의존하고 있습니다. 그러나 소량 샘플 환경에서도 차별적으로 훈련된 선형 예측자는 더 나은 일반화를 제공할 수 있습니다. 본 연구에서는 이러한 예측자를 기본 학습자로 사용하여 소량 샘플 학습을 위한 표현을 학습하는 방법을 제안하며, 다양한 소량 샘플 인식 벤치마크에서 특징 크기와 성능 사이의 더 나은 균형을 제공함을 보여줍니다. 우리의 목표는 새로운 카테고리에 대해 선형 분류 규칙 하에서 잘 일반화되는 특징 임베딩을 학습하는 것입니다. 이 목표를 효율적으로 해결하기 위해, 우리는 선형 분류기의 두 가지 속성을 활용합니다: 볼록 문제의 최적 조건에 대한 암시적 미분(implicit differentiation)과 최적화 문제의 쌍대 형식(dual formulation). 이를 통해 계산 비용이 크게 증가하지 않으면서 고차원 임베딩을 사용할 수 있으며, 일반화 성능이 향상됩니다. 우리 접근 방식인 MetaOptNet은 miniImageNet, tieredImageNet, CIFAR-FS, 그리고 FC100 소량 샘플 학습 벤치마크에서 최고 수준의 성능을 달성하였습니다. 코드는 https://github.com/kjunelee/MetaOptNet에서 확인할 수 있습니다.