17일 전

소수 샘플 학습을 위한 프로토타입 완성

Baoquan Zhang, Xutao Li, Yunming Ye, Shanshan Feng
소수 샘플 학습을 위한 프로토타입 완성
초록

소수 예시 학습(few-shot learning, FSL)은 매우 적은 예시를 통해 새로운 클래스를 인식하는 것을 목표로 한다. 기존의 사전 훈련 기반 방법은 특징 추출기(feature extractor)를 사전 훈련한 후, 최근 중심 기반 메타학습(meta-learning)을 통해 미세조정(fine-tuning)하는 방식으로 문제를 해결한다. 그러나 실험 결과에 따르면, 미세조정 단계는 성능 향상에 거의 기여하지 않는 것으로 나타났다. 본 논문에서는 다음과 같은 두 가지 핵심 관찰과 해결 방안을 제시한다. 1) 그 이유를 규명하였으며, 사전 훈련된 특징 공간에서 기반 클래스(base classes)는 이미 밀집된 클러스터를 형성하는 반면, 새로운 클래스(novel classes)는 큰 분산을 가지는 그룹으로 퍼져 있는 것으로 나타났다. 이는 특징 추출기의 미세조정이 의미가 적다는 것을 시사한다. 2) 특징 추출기의 미세조정 대신, 더 대표적인 프로토타입(prototype)을 추정하는 데 초점을 맞춘다. 이를 바탕으로, 새로운 프로토타입 보완 기반 메타학습 프레임워크를 제안한다. 이 프레임워크는 다음과 같은 세 단계로 구성된다. 첫째, 클래스 수준의 부분(part) 또는 속성(attribute) annotation과 같은 원시 지식(primitive knowledge)을 도입하고, 관측된 속성에 대한 대표적 특징을 사전(prior)으로 추출한다. 둘째, 미관측 속성에 대한 대표적 특징을 추론할 수 있도록 부분/속성 전이 네트워크(part/attribute transfer network)를 설계하여 보조 사전을 학습한다. 셋째, 이러한 사전 정보를 활용해 프로토타입을 보완하는 프로토타입 보완 네트워크(prototype completion network)를 제안한다. 또한, 프로토타입 보완 오류를 방지하기 위해, 미레이블 샘플을 활용하여 평균 기반 프로토타입과 보완된 프로토타입을 융합하는 가우시안 기반 프로토타입 융합 전략(Gaussian-based prototype fusion strategy)을 추가로 개발하였다. 광범위한 실험을 통해 제안한 방법이 (i) 보다 정확한 프로토타입을 생성하며, (ii) 유도적(inductive) 및 전도적(transductive) FSL 설정 모두에서 우수한 성능을 달성함을 입증하였다.

소수 샘플 학습을 위한 프로토타입 완성 | 최신 연구 논문 | HyperAI초신경