2달 전

Few-shot 학습을 위한 Fine-tuning 재검토

Nakamura, Akihiro ; Harada, Tatsuya
Few-shot 학습을 위한 Fine-tuning 재검토
초록

소수 샘플 학습(Few-shot learning)은 몇 개의 예제만을 사용하여 새로운 클래스를 학습하는 과정으로, 기계 학습 분야에서 여전히 어려운 과제입니다. 네트워크가 단순히 몇 개의 예제로 미세 조정(fine-tuning)될 경우 새로운 예제에 쉽게 과적합(overfitting)될 수 있다는 개념을 바탕으로 많은 고도화된 소수 샘플 학습 알고리즘들이 제안되었습니다. 본 연구에서는 일반적으로 사용되는 저해상도 mini-ImageNet 데이터셋에서, 미세 조정 방법이 1-shot 작업에서 일반적인 소수 샘플 학습 알고리즘보다 높은 정확도를 달성하며, 5-shot 작업에서는 최신 알고리즘과 거의 동일한 정확도를 보임을 입증하였습니다. 이후, 더 실용적인 작업인 고해상도 단일 도메인 및 크로스 도메인 작업을 통해 우리의 방법을 평가하였습니다. 두 작업 모두에서 우리의 방법이 일반적인 소수 샘플 학습 알고리즘보다 높은 정확도를 달성함을 보였습니다. 우리는 실험 결과를 추가로 분석하여 다음과 같은 점들을 밝혔습니다: 1) 낮은 학습률(learning rate)을 사용하면 재학습(retraining) 과정이 안정화될 수 있으며, 2) 미세 조정 시 적응형 그래디언트 최적화기(adaptive gradient optimizers)를 사용하면 테스트 정확도(test accuracy)가 향상될 수 있으며, 3) 베이스 클래스와 새로운 클래스 사이에 큰 도메인 이동(domain-shift)이 존재할 때 전체 네트워크를 업데이트하면 테스트 정확도가 개선될 수 있습니다.

Few-shot 학습을 위한 Fine-tuning 재검토 | 최신 연구 논문 | HyperAI초신경