Kalibrierte neighbourhood-aware Confidence-Maßnahme für tiefes Metrik-Lernen

Deep Metric Learning hat in den letzten Jahren dank des Erfolgs von Deep Learning erhebliche Fortschritte erzielt. Es wurde erfolgreich bei Aufgaben des Few-Shot Learning, der Bildretrieval und der Open-Set-Klassifikation eingesetzt. Dennoch bleibt die Messung der Zuverlässigkeit eines Deep-Metric-Learning-Modells und die Identifizierung unzuverlässiger Vorhersagen weiterhin eine offene Herausforderung. In dieser Arbeit wird ein kalibriertes und interpretierbares Vertrauensmaß definiert, das eng mit der Klassifizierungsgenauigkeit korreliert. Während der Ähnlichkeitsvergleich direkt im latenzraumbasierten Raum unter Verwendung der gelernten Distanzmetrik durchgeführt wird, approximiert unser Ansatz die Verteilung der Datenpunkte jeder Klasse mittels einer Gaußschen Kernelglättungsfunktion. Der post-processing-basierte Kalibrierungsalgorithmus mit dem vorgeschlagenen Vertrauensmaß auf einem getrennten Validierungsdatensatz verbessert die Generalisierbarkeit und Robustheit state-of-the-art Deep-Metric-Learning-Modelle und liefert zudem eine interpretierbare Schätzung des Vertrauens. Umfassende Tests an vier populären Benchmark-Datensätzen (Caltech-UCSD Birds, Stanford Online Product, Stanford Car-196 und In-shop Clothes Retrieval) zeigen konsistente Verbesserungen, auch bei Verteilungsverschiebungen im Testdatensatz, die durch zusätzlichen Rauschen oder adversarielle Beispiele verursacht werden.