임베딩 전파: 소수 샘플 분류를 위한 더 부드러운 매니폴드

소수 샘플 분류(few-shot classification)는 훈련 세트와 테스트 세트의 클래스가 서로 겹치지 않기 때문에 훈련 데이터 분포와 테스트 데이터 분포가 크게 다를 수 있다는 점에서 도전적인 과제이다. 이러한 분포 이동(distribution shift)은 일반화 성능 저하를 초래하는 주요 원인이다. 다양체 평활화(manifold smoothing)는 결정 경계를 확장하고 클래스 표현의 노이즈를 줄임으로써 분포 이동 문제를 해결할 수 있음이 입증되었다. 더불어 다양체 평활성은 반감독 학습(semi-supervised learning) 및 전도적 학습(transductive learning) 알고리즘에서 핵심적인 요소로 작용한다. 본 연구에서는 소수 샘플 분류에서 다양체 평활화를 위한 비모수적 비모델링 정규화 기법으로 임베딩 전파(embedding propagation)를 제안한다. 임베딩 전파는 신경망에서 추출한 특징들 간의 유사성 그래프 기반 보간(interpolation)을 활용한다. 실증적으로 임베딩 전파가 더 부드러운 임베딩 다양체를 생성함을 입증하였으며, 전도적 분류기(transductive classifier)에 임베딩 전파를 적용함으로써 mini-Imagenet, tiered-Imagenet, ImageNet-FS, CUB에서 새로운 최고 성능(state-of-the-art)을 달성함을 보였다. 또한, 다양한 반감독 학습 환경에서 모델의 정확도를 최대 16%p까지 지속적으로 향상시킴을 확인하였다. 제안된 임베딩 전파 연산은 신경망에 비모수적 레이어로서 간편하게 통합할 수 있다. 학습 코드 및 사용 예시는 https://github.com/ElementAI/embedding-propagation 에 공개되어 있다.