셀프-감독이 좋은 소수 샘플 학습자일 수 있다.

기존의 소량 샘플 학습(Few-Shot Learning, FSL) 방법들은 대규모 라벨링된 데이터셋을 사용하여 학습에 의존하기 때문에, 풍부한 비라벨 데이터를 활용할 수 없습니다. 정보 이론적 관점에서, 우리는 자기 지도 학습(self-supervision)을 통해 표현을 학습하는 효과적인 비지도 FSL 방법을 제안합니다. InfoMax 원칙에 따라, 우리의 방법은 데이터의 본질적 구조를 포착함으로써 포괄적인 표현을 학습합니다. 구체적으로, 우리는 저 편향성 상호 정보(Mutual Information, MI) 추정기를 사용하여 인스턴스와 그 표현 간의 MI를 최대화하여 자기 지도 사전 학습(self-supervised pre-training)을 수행합니다. 감독된 사전 학습이 보이는 클래스들의 차별 가능한 특징에 초점을 맞추는 것과 달리, 우리의 자기 지도 모델은 보이는 클래스들에 대한 편향성이 적어, 보지 않은 클래스들에 대해 더 나은 일반화 성능을 보입니다. 우리는 감독된 사전 학습과 자기 지도 사전 학습이 실제로 다른 MI 목적함수를 최대화하고 있다는 점을 설명합니다. 다양한 학습 설정 하에서 FSL 성능을 분석하기 위해 광범위한 실험이 추가로 수행되었습니다. 놀랍게도, 결과는 적절한 조건 하에서 자기 지도 사전 학습이 감독된 사전 학습보다 우수한 성능을 나타낼 수 있음을 보여줍니다. 기존 최신 FSL 방법들과 비교했을 때, 우리의 접근 방식은 기반 클래스의 라벨 없이 널리 사용되는 FSL 벤치마크에서 유사한 성능을 달성합니다.