Nicht-Isotropie-Regularisierung für proxy-basierte tiefe Metrik-Lernverfahren

Deep Metric Learning (DML) zielt darauf ab, Darstellungsraum zu lernen, in denen semantische Beziehungen durch vordefinierte Abstandsmetriken einfach ausgedrückt werden können. Die derzeit besten Ansätze nutzen häufig Klassenproxis als Repräsentanten einzelner Samples, um eine bessere Konvergenz und Generalisierung zu erreichen. Allerdings optimieren diese Proxymethoden ausschließlich die Abstände zwischen Samples und Proxies. Aufgrund der inhärenten Nicht-Bijektivität der verwendeten Abstandsfunktionen kann dies zu lokal isotropen Verteilungen der Samples führen, wodurch wesentliche semantische Kontextinformationen verloren gehen, da lokale Strukturen und intra-klassische Beziehungen zwischen Samples nur schwer aufgelöst werden können. Um dieses Problem zu mildern, schlagen wir eine Nicht-Isotropie-Regularisierung ($\mathbb{NIR}$) für proxy-basiertes Deep Metric Learning vor. Durch die Nutzung von Normalisierenden Flüssen forcieren wir eine eindeutige Übersetzbarkeit der Samples von ihren jeweiligen Klassenproxis aus. Dadurch können wir explizit eine nicht-isotrope Verteilung der Samples um einen Proxy definieren, die dann optimiert wird. Auf diese Weise ermöglichen wir es den proxy-basierten Zielfunktionen, lokale Strukturen besser zu lernen. Umfassende Experimente belegen konsistente Generalisierungsverbesserungen durch $\mathbb{NIR}$, wobei gleichzeitig konkurrenzfähige und state-of-the-art-Leistungen auf den Standardbenchmarks CUB200-2011, Cars196 und Stanford Online Products erzielt werden. Zudem zeigen wir, dass die überlegenen Konvergenzeigenschaften von proxy-basierten Methoden entweder beibehalten oder sogar verbessert werden, was $\mathbb{NIR}$ für praktische Anwendungen besonders attraktiv macht. Der Quellcode ist unter https://github.com/ExplainableML/NonIsotropicProxyDML verfügbar.