소수 샘플 이미지 분류를 위한 유니버설 표현 트랜스포머 레이어

소수 샘플 분류(few-shot classification)는 주어진 샘플 수가 매우 적은 상황에서 미지의 클래스를 인식하는 것을 목표로 한다. 본 연구에서는 다양한 데이터 소스에서 나온 미지의 클래스와 예제를 다루는 다영역 소수 샘플 이미지 분류 문제를 고려한다. 이 문제는 점점 더 많은 관심을 받으며, Meta-Dataset과 같은 벤치마크의 개발을 촉진하고 있다. 다영역 환경에서의 주요 과제는 다양한 훈련 영역에서 추출된 특징 표현을 효과적으로 통합하는 것이다. 본 논문에서는 이러한 문제를 해결하기 위해, 유니버설 특징(universal features)을 동적으로 재가중하고 적절한 영역 특화 표현을 조합함으로써 소수 샘플 분류에 활용할 수 있도록 메타학습(meta-learn)하는 유니버설 표현 트랜스포머(Universal Representation Transformer, URT) 레이어를 제안한다. 실험을 통해 URT가 Meta-Dataset에서 새로운 최고 성능(state-of-the-art)을 달성함을 보여주며, 특히 경쟁 방법들에 비해 가장 많은 데이터 소스에서 최고의 성능을 기록함을 확인하였다. 또한 URT의 다양한 변형을 분석하고, 모델이 다영역 일반화를 수행하는 방식을 시각화한 어텐션 점수 히트맵을 제시한다. 본 연구의 코드는 https://github.com/liulu112601/URT 에서 공개되어 있다.