Few-Shot 학습을 위한 전도적 정보 최대화

소수 샘플 학습(few-shot learning)을 위한 전이 정보 최대화(Transductive Information Maximization, TIM)를 제안한다. 본 방법은 주어진 소수 샘플 작업에 대해 쿼리 특징(query features)과 그 레이블 예측 간의 상호정보량(mutual information)을 최대화하며, 지원 집합(support set) 기반의 감독 손실과 함께 작동한다. 또한, 상호정보량 손실을 위한 새로운 대칭 방향 반복(solover)을 제안하여, 기존의 경사 기반 최적화에 비해 전이 추론(transductive inference)의 수렴 속도를 크게 향상시키면서도 유사한 정확도를 달성한다. TIM 추론은 모듈러(modular) 구조를 가지며, 어떤 기반 학습 특징 추출기(base-training feature extractor) 위에 쉽게 적용 가능하다. 표준 전이 소수 샘플 설정을 따르는 광범위한 실험을 통해, 복잡한 메타 학습(meta-learning) 기법을 사용하지 않고도, 기저 클래스에 대해 단순한 교차 엔트로피(cross-entropy)로 사전 학습된 고정된 특징 추출기 위에서 TIM이 다양한 데이터셋과 네트워크 아키텍처에서 최신 기법들을 크게 능가함을 입증하였다. 특히, 잘 정립된 소수 샘플 벤치마크뿐 아니라 도메인 편차(domain shifts)와 더 많은 클래스 수를 포함한 더 도전적인 상황에서도, 가장 우수한 기존 방법 대비 2%에서 5%의 정확도 향상을 일관되게 달성하였다.