ESPT: 적은 샘플 학습을 개선하기 위한 자기지도형 에피소드 공간 전처리 작업

최근 몇 샘플 학습(few-shot learning, FSL) 프레임워크에 자기지도 학습(self-supervised learning, SSL) 기법이 통합되면서, 몇 샘플 이미지 분류 성능 향상 측면에서 유망한 성과를 보여주고 있다. 그러나 기존의 FSL에서 활용되는 SSL 접근 방식은 일반적으로 각 이미지의 전역 임베딩(global embedding)에서 감독 신호를 추출하는 데 집중한다. 따라서 FSL의 에피소드 기반 훈련 과정에서 이러한 방법들은 이미지 샘플 내부의 국소 시각 정보 및 전체 에피소드의 데이터 구조 정보를 포착하고 효율적으로 활용하지 못하는 문제가 있다. 이는 FSL에 유리한 정보임에도 불구하고. 이를 해결하기 위해 우리는 새로운 자기지도 에피소드 공간 사전 과제(Episodic Spatial Pretext Task, ESPT)를 도입하여 몇 샘플 학습 목표를 보완하는 방안을 제안한다. 구체적으로, 각 몇 샘플 에피소드에 대해 모든 이미지에 무작위 기하 변환을 적용하여 대응하는 변환된 에피소드를 생성한다. 이들 쌍을 기반으로, 우리의 ESPT 목적함수는 원본 에피소드와 변환된 에피소드 간의 국소 공간 관계 일관성을 최대화하는 것으로 정의된다. 이 정의에 따라, ESPT를 통한 FSL 목적함수는 각 입력 에피소드 내에서 서로 다른 이미지의 국소 공간 특징과 그들 간의 상호 관계 구조 정보를 포착하는 더 전이 가능한 특징 표현을 학습하도록 유도한다. 결과적으로 모델은 매우 적은 샘플만으로도 새로운 클래스에 더 잘 일반화할 수 있게 된다. 광범위한 실험 결과는 제안한 ESPT 방법이 세 가지 주요 기준 데이터셋에서 몇 샘플 이미지 분류 분야에서 새로운 최고 성능(state-of-the-art)을 달성함을 보여준다. 소스 코드는 다음과 같은 링크에서 공개될 예정이다: https://github.com/Whut-YiRong/ESPT.