소수 샘플 이미지 분류를 위한 계층 인식 패치 임베딩 적응

"사진은 천 개의 단어보다 더 큰 의미를 담고 있다"는 말은 단순한 분류를 넘어서는 것을 의미한다. 그러나 이러한 맥락에서, 이미지의 여러 부분(patch) 중 일부는 독립적으로 관찰할 경우 분류와 전혀 관련이 없는 의미를 가질 수 있다. 이는 데이터가 제한적이고 이미지 패치 간 비교에 크게 의존하는 다수의 소수 학습(few-shot learning) 알고리즘의 효율성을 크게 저하시킬 수 있다. 이 문제를 해결하기 위해, 우리는 이미지 패치에 대해 "클래스 인지 임베딩(class-aware embeddings)"을 학습할 수 있는 클래스 인지 패치 임베딩 적응(Class-aware Patch Embedding Adaptation, CPEA) 방법을 제안한다. CPEA의 핵심 아이디어는 패치 임베딩을 클래스 인지 임베딩과 통합함으로써, 각 패치 임베딩이 해당 클래스와 관련되도록 만드는 것이다. 또한, 서로 다른 이미지 간의 클래스 관련 패치 임베딩 사이에 밀도 높은 점수 행렬(dense score matrix)을 정의함으로써, 쌍으로 구성된 이미지 간의 유사도를 정량화한다. 시각화 결과는 CPEA가 클래스별로 패치 임베딩을 집중시키며, 이로 인해 임베딩이 클래스와 관련성이 높아짐을 보여준다. miniImageNet, tieredImageNet, CIFAR-FS, FC-100의 네 가지 벤치마크 데이터셋에서 실시한 광범위한 실험 결과에 따르면, 제안하는 CPEA는 기존 최상위 기법들을 상회하는 성능을 보였다. 소스 코드는 https://github.com/FushengHao/CPEA 에서 공개되어 있다.