초록
딥 메트릭 학습(DML)은 의미적 유사성을 임베딩 공간 내 거리로 표현하는 메트릭 공간을 학습하려는 접근법을 제안한다. 이러한 공간은 학습 과정에서 관측되지 않은 클래스에도 전이 가능해야 한다. 일반적으로 DML 방법은 네트워크에 이진 클래스 할당을 기반으로 정의된 대조적 순서화(task)를 해결하도록 지시한다. 그러나 이러한 접근 방식은 실제 클래스 간의 고차원적 의미 관계를 무시하게 되며, 이는 학습된 임베딩 공간이 불완전한 의미적 맥락을 포함하게 하고 클래스 간의 의미 관계를 왜곡하게 된다. 이로 인해 학습된 메트릭 공간의 일반화 능력이 저하된다. 본 연구에서는 시각적 유사성 학습을 위한 언어 지도 목표를 제안한다. 전문가 및 가상의 클래스 이름에 대한 언어 임베딩을 활용하여, 의미 있는 언어적 의미에 부합하는 시각적 표현 공간을 맥락화하고 재정렬함으로써 더 나은 의미 일관성을 달성한다. 광범위한 실험과 아블레이션(Ablation) 연구는 본 연구에서 제안하는 방법의 강력한 동기를 제공하며, 언어 지도가 DML에 있어 모델에 종속되지 않는 의미 있는 성능 향상을 제공함을 보여준다. 이를 통해 모든 벤치마크에서 경쟁력 있는 성능과 최신 기술 수준의 결과를 달성하였다. 코드는 https://github.com/ExplainableML/LanguageGuidance_for_DML 에서 공개되어 있다.