HyperAIHyperAI

Command Palette

Search for a command to run...

Nicht-Isotropie-Regularisierung für proxy-basierte tiefe Metrik-Lernverfahren

Karsten Roth Oriol Vinyals Zeynep Akata

Zusammenfassung

Deep Metric Learning (DML) zielt darauf ab, Darstellungsraum zu lernen, in denen semantische Beziehungen durch vordefinierte Abstandsmetriken einfach ausgedrückt werden können. Die derzeit besten Ansätze nutzen häufig Klassenproxis als Repräsentanten einzelner Samples, um eine bessere Konvergenz und Generalisierung zu erreichen. Allerdings optimieren diese Proxymethoden ausschließlich die Abstände zwischen Samples und Proxies. Aufgrund der inhärenten Nicht-Bijektivität der verwendeten Abstandsfunktionen kann dies zu lokal isotropen Verteilungen der Samples führen, wodurch wesentliche semantische Kontextinformationen verloren gehen, da lokale Strukturen und intra-klassische Beziehungen zwischen Samples nur schwer aufgelöst werden können. Um dieses Problem zu mildern, schlagen wir eine Nicht-Isotropie-Regularisierung (NIR\mathbb{NIR}NIR) für proxy-basiertes Deep Metric Learning vor. Durch die Nutzung von Normalisierenden Flüssen forcieren wir eine eindeutige Übersetzbarkeit der Samples von ihren jeweiligen Klassenproxis aus. Dadurch können wir explizit eine nicht-isotrope Verteilung der Samples um einen Proxy definieren, die dann optimiert wird. Auf diese Weise ermöglichen wir es den proxy-basierten Zielfunktionen, lokale Strukturen besser zu lernen. Umfassende Experimente belegen konsistente Generalisierungsverbesserungen durch NIR\mathbb{NIR}NIR, wobei gleichzeitig konkurrenzfähige und state-of-the-art-Leistungen auf den Standardbenchmarks CUB200-2011, Cars196 und Stanford Online Products erzielt werden. Zudem zeigen wir, dass die überlegenen Konvergenzeigenschaften von proxy-basierten Methoden entweder beibehalten oder sogar verbessert werden, was NIR\mathbb{NIR}NIR für praktische Anwendungen besonders attraktiv macht. Der Quellcode ist unter https://github.com/ExplainableML/NonIsotropicProxyDML verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp