반지도 학습을 위한 자기 훈련 방법 배우기: 소수 샘플 분류의 경우

소수 샘플 분류(Few-shot classification, FSC)는 라벨이 부착된 훈련 데이터의 부족(예: 클래스당 하나의 라벨이 부착된 데이터 포인트만 있음)으로 인해 어려움을 겪습니다. 메타러닝은 FSC를 위한 분류 모델의 초기화 방법을 학습함으로써 유망한 결과를 보여주었습니다. 본 논문에서는 라벨이 없는 데이터를 활용하고 특히 이러한 비지도 데이터를 선택하여 라벨링하는 방법을 메타학습하는 새로운 반지도 메타러닝 방법인 자기훈련 학습(Learning to self-train, LST)을 제안합니다. 이를 위해 우리는 많은 수의 반지도 소수 샘플 작업을 통해 LST 모델을 훈련시킵니다. 각 작업에서, 우리는 소수 샘플 모델을 사용하여 라벨이 없는 데이터에 대한 의사 라벨(pseudo labels)을 예측하고, 그런 다음 각 단계마다 미세 조정(fine-tuning)을 거친 후 라벨이 있는 데이터와 의사 라벨이 부착된 데이터로 자기훈련 단계를 반복합니다. 또한, 더 나은 의사 라벨이 그래디언트 하강 최적화에 더 많이 기여할 수 있도록 의사 라벨의 자기훈련 가중치를 최적화하는 연성 가중 네트워크(Soft Weighting Network, SWN)를 학습합니다. 우리는 두 개의 ImageNet 벤치마크에서 반지도 소수 샘플 분류를 위해 우리의 LST 방법을 평가하였으며, 최신 기법(state-of-the-art method)보다 크게 개선된 성능을 달성하였습니다. 코드는 https://github.com/xinzheli1217/learning-to-self-train 에서 확인할 수 있습니다.