적응형 크로스 모달 소수 샘플 학습

메트릭 기반 메타-러닝 기술은 소수 샘플 분류 문제에 성공적으로 적용되어 왔습니다. 본 논문에서는 교차 모달 정보를 활용하여 메트릭 기반 소수 샘플 학습 방법을 강화하는 방안을 제안합니다. 시각적 특징 공간과 의미론적 특징 공간은 정의상 서로 다른 구조를 가지고 있습니다. 특정 개념에 대해서는 시각적 특징이 텍스트보다 풍부하고 구분력이 뛰어날 수 있으며, 반대로 다른 개념들에 대해서는 텍스트가 더 유리할 수도 있습니다. 또한 이미지 분류에서 시각적 정보의 지원이 제한될 때, 의미론적 표현(비지도 텍스트 코퍼스에서 학습된)은 학습을 돕기 위한 강력한 사전 지식과 맥락을 제공할 수 있습니다. 이러한 두 가지 직관에 기반하여, 우리는 새로운 이미지 카테고리를 학습하기 위해 두 모달로부터의 정보를 적응적으로 결합하는 메커니즘을 제안합니다. 일련의 실험을 통해 이 적응적인 결합 방법으로 인해 우리의 모델이 모든 벤치마크와 소수 샘플 시나리오에서 현재 단일 모달 소수 샘플 학습 방법 및 모달 정렬 방법보다 크게 우월함을 보여줍니다. 실험 결과, 우리의 모델이 두 모달에 대한 초점을 효과적으로 조정할 수 있음을 확인하였습니다. 특히 샷의 수가 매우 적은 경우 성능 개선 폭이 더욱 크다는 점도 입증되었습니다.