17일 전

S2SD: 깊이 있는 거리 학습을 위한 동시적 유사기반 자기-distillation

Karsten Roth, Timo Milbich, Björn Ommer, Joseph Paul Cohen, Marzyeh Ghassemi
S2SD: 깊이 있는 거리 학습을 위한 동시적 유사기반 자기-distillation
초록

딥 메트릭 학습(DML)은 일반화 임베딩 공간을 학습함으로써 시각적 유사성 및 제로샷 응용 분야에 핵심적인 도구를 제공하지만, 최근 DML 연구에서는 다양한 학습 목표에서 성능 포화 현상이 두드러지게 나타나고 있다. 그러나 일반화 능력은 임베딩 공간의 차원 수와 함께 증가한다는 점이 잘 알려져 있다. 다만 고차원 임베딩은 하류 응용 프로그램에서 검색 비용을 증가시키는 부작용을 동반한다. 이를 해결하기 위해 우리는 \emph{동시적 유사성 기반 자기-정제(Simultaneous Similarity-based Self-distillation, S2SD)}를 제안한다. S2SD는 보조적인 고차원 임베딩 공간과 특징 공간으로부터 지식 정제를 도입함으로써 학습 중 보완적인 맥락을 활용하면서도, 추론 시 비용은 유지하고 학습 시간은 거의 변화 없이 유지한다. 다양한 목표 함수와 표준 벤치마크에서 수행된 실험 및 아블레이션 결과를 통해 S2SD는 Recall@1에서 최대 7%의 유의미한 성능 향상을 제공하며, 새로운 최고 성능 기록을 수립함을 입증했다. 코드는 https://github.com/MLforHealth/S2SD 에서 공개되어 있다.

S2SD: 깊이 있는 거리 학습을 위한 동시적 유사기반 자기-distillation | 최신 연구 논문 | HyperAI초신경