단순한 파이프라인의 소수 학습 한계를 넘어서기: 외부 데이터 및 미세 조정이 차이를 만든다

소수 샘플 학습(Few-shot learning, FSL)은 컴퓨터 비전 분야에서 중요한 주제이며, 복잡한 메타학습 방법에서부터 단순한 전이학습 기반 방법에 이르기까지 다양한 접근 방식에 대한 광범위한 연구를 촉발해왔다. 본 연구는 실제적이고 현실적인 소수 샘플 이미지 분류 환경에서 효과적인 단순한 그러나 강력한 파이프라인의 한계를 극복하고자 한다. 이를 위해, 신경망 아키텍처 관점에서 소수 샘플 학습을 탐구하며, 데이터 공급 조건에 따라 세 단계로 나누어진 네트워크 업데이트 프로세스를 제안한다. 이 프로세스는 사전 훈련을 위해 비지도 외부 데이터를 활용하고, 메타학습을 위해 기초 범주(base categories)를 사용하여 소수 샘플 작업을 시뮬레이션하며, 새로운 작업의 극히 적은 레이블이 붙은 데이터를 활용하여 최적화(fine-tuning)를 수행한다. 본 연구는 다음과 같은 핵심 질문들을 탐구한다: (1) 외부 데이터에서의 사전 훈련이 FSL에 어떤 이점을 제공하는가? (2) 최신의 트랜스포머 아키텍처는 어떻게 활용될 수 있는가? (3) 최적화 과정은 도메인 차이(domain shift)를 어떻게 완화하는가? 궁극적으로, 단순한 트랜스포머 기반 파이프라인이 Mini-ImageNet, CIFAR-FS, CDFSL, Meta-Dataset와 같은 표준 벤치마크에서 놀라울 정도로 우수한 성능을 보임을 입증한다. 코드 및 데모는 https://hushell.github.io/pmf 에서 확인할 수 있다.