11일 전

워샤르스타인 신뢰도 페널티를 갖는 대조형 프로토타입 네트워크

{Zhi-Hong Deng, Haoqing Wang}
워샤르스타인 신뢰도 페널티를 갖는 대조형 프로토타입 네트워크
초록

비지도적 소수 샘플 학습(unsupervised few-shot learning)은 새로운 소수 샘플 작업을 해결하기 위해 레이블이 없는 데이터셋으로부터 유도적 편향(inductive bias)을 학습하는 것을 목표로 한다. 기존의 비지도적 소수 샘플 학습 모델과 대조 학습(contrastive learning) 모델은 모두 통일된 패러다임을 따르고 있다. 따라서 본 연구에서는 이러한 패러다임 하에서 실증적 연구를 수행하였으며, 쌍별 대조(pairwise contrast), 메타 손실(meta losses), 그리고 큰 배치 크기(large batch size)가 중요한 설계 요소임을 발견하였다. 이를 바탕으로, 프로토타입 손실(prototypical loss)과 쌍별 대조를 결합한 CPN(Contrastive Prototypical Network) 모델을 제안한다. 이 모델은 비교적 큰 배치 크기를 사용함에도 불구하고, 기존 동일 패러다임의 모델들을 능가하는 성능을 보였다. 또한 CPN에서 사용하는 one-hot 예측 타겟은 샘플 고유의 정보를 학습하게 하는 원인이 될 수 있다. 이를 해결하기 위해, 가상 클래스들 간의 의미적 관계를 기반으로 과도한 확신을 가진 예측에 적절한 페널티를 부과할 수 있는 워셔스타인 신뢰도 페널티(Wasserstein Confidence Penalty)를 제안한다. 전체 모델인 CPNWCP(Contrastive Prototypical Network with Wasserstein Confidence Penalty)는 비지도 설정 하에서 miniImageNet과 tieredImageNet에서 최신 기준(SOTA) 성능을 달성하였다. 본 연구의 코드는 https://github.com/Haoqing-Wang/CPNWCP 에서 공개되어 있다.

워샤르스타인 신뢰도 페널티를 갖는 대조형 프로토타입 네트워크 | 최신 연구 논문 | HyperAI초신경