다중 의미를 활용한 소수 샘플 학습에 대한 첫걸음

한 사람이 초기 영아기부터 하나 또는 몇 개의 시각적 예제에서 배우는 것은 중요한 능력 중 하나이지만, 현대 AI 시스템에게는 여전히 큰 도전입니다. 몇 개의 이미지 예제에서 소수 샘플 학습(few-shot learning)을 수행하는 데 상당한 진전이 이루어졌음에도 불구하고, 새로운 물체를 보여줄 때 일반적으로 영아에게 제공되는 언어적 설명에 대한 관심은 훨씬 적었습니다. 본 논문에서는 이러한 추가적인 의미 정보가 소수 샘플 시각 학습을 크게 돕는 역할을 하는 점에 초점을 맞춥니다. 최근에 추가적인 의미 정보를 활용한 소수 샘플 학습의 발전을 바탕으로, 우리는 여러 가지와 더 풍부한 의미 정보(범주 라벨, 속성, 자연어 설명)를 결합함으로써 더욱 개선될 수 있음을 입증합니다. 이러한 아이디어를 활용하여, 우리는 인기 있는 miniImageNet 및 CUB 소수 샘플 벤치마크에서 기존 최신 연구 결과보다 우수한 성능을 보이는 새로운 결과를 제시하며, 이는 시각 정보만 사용하는 접근 방식과 시각 정보 및 의미 정보를 결합한 접근 방식 모두에서 확인되었습니다. 또한, 우리의 접근 방식의 구성 요소와 설계 선택에 대한 감소 실험(ablation study)도 수행하였습니다.