Self-Attention 메시지 전달을 이용한 대조적 소수 샷 학습

인간은 감독이 거의 없거나 전혀 없는 상태에서 몇 개의 예시로부터 새로운 표현을 배우는 독특한 능력을 가지고 있습니다. 그러나 딥 러닝 모델은 만족스러운 성능을 내기 위해서는 대량의 데이터와 감독이 필요합니다. 비지도 소수 샘플 학습(U-FSL)은 이러한 인간과 기계 간의 차이를 줄이는 것을 목표로 합니다. 그래프 신경망(GNNs)이 복잡한 샘플 간 관계를 발견하는 능력에 영감을 받아, 우리는 U-FSL 사전 훈련을 위한 새로운 자기 주의 기반 메시지 전달 대조 학습 접근법(자신에게 SAMP-CLR라고 명명함)을 제안합니다. 또한, 최적 운송(OT) 기반 미세 조정 전략(우리가 OpT-Tune이라고 부름)을 제안하여 우리의 새로운 단일 과정 비지도 소수 샘플 분류 프레임워크(SAMPTransfer)에 효율적으로 작업 인식성을 유도합니다. 우리의 광범위한 실험 결과는 SAMPTransfer가 다양한 다운스트림 소수 샘플 분류 시나리오에서 효과적임을 입증하며, miniImagenet 및 tieredImagenet 벤치마크에서 U-FSL에 있어 새로운 최고 수준을 설정하였습니다. 각각 7% 이상과 5% 이상의 향상을 제공하였습니다. 또한 우리의 추가 연구는 SAMPTransfer가 miniImagenet에서 일부 지도 베이스라인과 동등한 성능을 보이며, 도전적인 크로스 도메인 시나리오에서는 모든 기존 U-FSL 베이스라인보다 우수한 성능을 내는 것을 확인하였습니다. 우리의 코드는 GitHub 저장소에서 찾으실 수 있습니다: https://github.com/ojss/SAMPTransfer/.