17일 전

프록시 기반 딥 메트릭 학습을 위한 비등방성 정규화

Karsten Roth, Oriol Vinyals, Zeynep Akata
프록시 기반 딥 메트릭 학습을 위한 비등방성 정규화
초록

딥 메트릭 학습(Depth Metric Learning, DML)은 의미적 관계를 사전 정의된 거리 메트릭을 통해 간단히 표현할 수 있는 표현 공간을 학습하는 것을 목표로 한다. 최고의 성능을 기록하는 접근 방식들은 일반적으로 클래스 프록시(class proxies)를 사용하여 샘플의 대표체로 활용함으로써 수렴성과 일반화 성능을 향상시킨다. 그러나 이러한 프록시 기반 방법들은 단지 샘플과 프록시 간의 거리만을 최적화할 뿐이다. 사용되는 거리 함수의 본질적인 비일대일성(비일대일성, non-bijectiveness)으로 인해, 샘플 분포가 국소적으로 등방성(isotropic)이 되는 현상이 발생할 수 있으며, 이는 국소 구조와 샘플 간 내클래스 관계를 해석하는 데 어려움을 초래함으로써 중요한 의미적 맥락을 놓치게 된다. 이러한 문제를 완화하기 위해, 우리는 프록시 기반 딥 메트릭 학습을 위한 비등방성 정규화(non-isotropy regularization, $\mathbb{NIR}$)를 제안한다. 정규화 흐름(Normalizing Flows)을 활용하여 각 샘플이 해당 클래스 프록시로부터 고유한 변환 가능성을 갖도록 강제함으로써, 프록시 주변에 비등방성(non-isotropic) 분포를 명시적으로 유도할 수 있다. 이를 통해 프록시 기반 목적 함수가 국소 구조를 더 잘 학습할 수 있도록 한다. 광범위한 실험을 통해 $\mathbb{NIR}$이 CUB200-2011, Cars196, Stanford Online Products와 같은 표준 벤치마크에서 경쟁력 있는 성능과 최첨단 수준의 성능을 달성하면서도 일관된 일반화 성능 향상을 보여주었다. 또한, 프록시 기반 방법의 뛰어난 수렴 특성이 유지되거나 오히려 개선됨을 발견하였으며, 이는 $\mathbb{NIR}$이 실용적 활용에 매우 매력적인 방법임을 시사한다. 코드는 https://github.com/ExplainableML/NonIsotropicProxyDML 에서 제공된다.

프록시 기반 딥 메트릭 학습을 위한 비등방성 정규화 | 최신 연구 논문 | HyperAI초신경