초록
대부분의 이전 저데이터 학습(few-shot learning) 알고리즘은 가상의 저데이터 작업을 훈련 샘플로 사용하는 메타-훈련에 기반하며, 이는 많은 라벨이 부착된 기본 클래스가 필요합니다. 또한 훈련된 모델은 작업 유형에 제한됩니다. 본 논문에서는 이러한 한계를 극복하기 위해 비지도 저데이터 학습의 새로운 패러다임을 제안합니다. 우리는 두 단계로 저데이터 작업을 해결합니다: 대조적 자기 지도 학습(contrastive self-supervised learning)을 통해 전송 가능한 특성 추출기를 메타-훈련하고, 그래프 집합(graph aggregation), 자기 증류(self-distillation), 그리고 다양체 확장(manifold augmentation)을 사용하여 분류기를 훈련합니다. 메타-훈련이 완료되면, 작업 종속적인 분류기 훈련을 통해 어떤 유형의 작업에도 사용할 수 있는 모델이 됩니다. 우리의 방법은 표준 저데이터 시각적 분류 데이터셋에서 다양한 확립된 저데이터 작업에서 최고 수준의 성능을 달성하며, 기존 비지도 저데이터 학습 방법과 비교해 8-28%의 성능 향상을 보입니다.