17일 전

프록시 앵커 손실을 이용한 딥 메트릭 학습

Sungyeon Kim, Dongwon Kim, Minsu Cho, Suha Kwak
프록시 앵커 손실을 이용한 딥 메트릭 학습
초록

기존의 미터릭 학습 손실 함수는 두 가지 유형으로 분류할 수 있다. 하나는 쌍 기반(pair-based) 손실이고, 다른 하나는 프록시 기반(proxy-based) 손실이다. 쌍 기반 손실은 데이터 포인트 간의 세밀한 의미적 관계를 활용할 수 있지만, 높은 학습 복잡도로 인해 일반적으로 수렴 속도가 느리다. 반면 프록시 기반 손실은 빠르고 신뢰할 수 있는 수렴을 가능하게 하지만, 데이터 간 풍부한 관계를 고려하지 못하는 한계가 있다. 본 논문에서는 쌍 기반 및 프록시 기반 방법의 장점을 결합하면서 각각의 한계를 극복하는 새로운 프록시 기반 손실을 제안한다. 프록시를 활용함으로써 제안하는 손실은 수렴 속도를 향상시키며, 노이즈 있는 레이블과 이상치에 대해 강건하다. 동시에 데이터의 임베딩 벡터가 그라디언트 내에서 서로 상호작용할 수 있도록 하여 데이터 간 관계를 효과적으로 활용할 수 있다. 제안한 방법은 네 가지 공개 벤치마크에서 평가되었으며, 표준 네트워크를 본 손실로 학습시켰을 때 최신 기술(SOTA) 성능을 달성하면서도 가장 빠르게 수렴함을 확인하였다.

프록시 앵커 손실을 이용한 딥 메트릭 학습 | 최신 연구 논문 | HyperAI초신경