DiffKendall: 미니멀 샘플 학습을 위한 미분 가능한 켄달의 순위 상관관계 기반 새로운 접근법

소수 샘플 학습(few-shot learning)은 기존의 기본 데이터셋에서 학습된 모델을, 모델이 이전에 접하지 못한 새로운 클래스로의 태스크에 적응시키는 것을 목표로 한다. 그러나 이러한 새로운 태스크에서는 특성 값이 채널 간에 상대적으로 균일하게 분포하는 경향이 있으며, 이는 새로운 태스크에서 채널의 중요도를 정의하는 데 어려움을 초래한다. 기존의 소수 샘플 학습 방법들은 두 특성 간의 의미적 유사도를 측정하기 위해 코사인 유사도나 음의 유클리드 거리와 같은 기하학적 유사도 측도를 주로 사용한다. 그러나 기하학적 유사도가 높은 특성들 사이에서도 의미적 차이가 존재할 수 있으며, 특히 소수 샘플 학습의 맥락에서는 이러한 문제가 더욱 두드러진다. 본 논문에서는 기하학적 유사도 측도보다 특성 채널의 중요도 순위가 소수 샘플 학습에 더 신뢰할 수 있는 지표임을 입증한다. 우리는 추론 단계에서 기하학적 유사도 측도를 켄달의 순위 상관 계수(Kendall's rank correlation)로 단순히 대체하는 것만으로도 다양한 방법과 서로 다른 도메인을 가진 여러 데이터셋에서 소수 샘플 학습 성능이 향상됨을 관찰하였다. 더 나아가, 켄달의 순위 상관 계수가 미분 가능하지 않은 문제를 해결하기 위해 메타학습을 위한 정교하게 설계된 미분 가능한 손실 함수를 제안한다. 기하학적 유사도 대신 미분 가능한 켄달의 순위 상관 계수를 도입함으로써, 본 방법은 기존의 수많은 소수 샘플 학습 접근법과 통합 가능하며, 향후 기하학적 유사도 측도에 의존하는 최첨단 기법들과도 쉽게 통합될 수 있다. 광범위한 실험을 통해 순위 상관 기반 접근법의 유효성이 입증되었으며, 소수 샘플 학습에서 의미 있는 성능 향상이 이루어짐을 보여주었다.