소수 샘플 학습을 위한 불변 표현과 등변 표현의 보완적 강점 탐구

실제 문제들 대부분에서 대량의 레이블링된 샘플을 수집하는 것은 불가능하다. 소수 샘플 학습(Few-shot learning, FSL)은 이러한 문제를 해결하기 위한 주요 접근 방식으로, 제한된 수의 샘플만으로도 새로운 카테고리에 신속하게 적응하는 것을 목표로 한다. 기존의 FSL 작업들은 주로 기울기 기반 메타학습과 거리 기반 학습 기법의 아이디어를 활용해 해결해왔다. 그러나 최근 연구들은 단순한 임베딩 네트워크를 통해 강력한 특징 표현을 얻는 것이, 기존의 복잡한 FSL 알고리즘보다도 뛰어난 성능을 발휘할 수 있음을 보여주었다. 본 연구에서는 이러한 통찰을 바탕으로, 일반적인 기하학적 변환에 대해 동형성(equivariance)과 불변성(invariance)을 동시에 강제하는 새로운 학습 메커니즘을 제안한다. 이전 연구에서는 동형성 또는 불변성을 각각 별도로 활용한 바 있으나, 우리 연구까지는 두 가지 성질을 동시에 적용한 사례는 알려져 있지 않다. 이러한 대립적인 두 목표를 동시에 최적화함으로써, 모델은 입력 변환에 독립적인 특징뿐만 아니라 기하학적 변환의 구조를 인코딩하는 특징도 함께 학습할 수 있게 된다. 이러한 보완적인 특징 집합은 매우 적은 수의 데이터 샘플로도 새로운 클래스에 잘 일반화할 수 있도록 도와준다. 또한 본 연구는 새로운 자기지도 학습(distillation) 목적함수를 도입함으로써 추가적인 성능 향상을 달성한다. 광범위한 실험을 통해, 지식 증류(knowledge distillation) 없이도 본 연구에서 제안하는 방법이 다섯 개의 대표적인 벤치마크 데이터셋에서 현재 최고 수준의 FSL 기법들을 능가함을 입증하였다.