음성 마진의 중요성: 소량 샘플 분류에서 마진 이해하기

이 논문은 메트릭 학습 기반의 소수 샘플 학습(few-shot learning) 방법에 음의 마진 손실(negative margin loss)을 제안한다. 이 음의 마진 손실은 기존의 정규 소프트맥스 손실보다 훨씬 우수한 성능을 보이며, 별도의 복잡한 기법 없이도 세 가지 표준 소수 샘플 분류 벤치마크에서 최상의 정확도를 달성한다. 이러한 결과는 메트릭 학습 분야에서 일반적으로 마진을 0 또는 양수로 설정하는 관행과는 정반대이다. 음의 마진 손실이 소수 샘플 분류에서 우수한 성능을 발휘하는 이유를 이해하기 위해, 학습 클래스와 새로운 클래스에 대해 다양한 마진 값에 따른 학습된 특징의 구분 능력을 실험적으로 및 이론적으로 분석하였다. 분석 결과, 음의 마진은 학습 클래스에 대한 특징의 구분 능력을 약화시킬 수 있지만, 동일한 새로운 클래스의 샘플들이 여러 개의 피크나 클러스터로 잘못 매핑되는 것을 방지할 수 있으며, 이는 새로운 클래스의 구분 능력에 긍정적인 영향을 미친다는 것을 발견하였다. 코드는 https://github.com/bl0/negative-margin.few-shot 에서 공개되어 있다.