Hierarchische Durchschnittspräzisionstraining für relevante Bildretrieval

Die Bildretrieval-Evaluation erfolgt üblicherweise anhand von Average Precision (AP) oder Recall@k. Diese Metriken sind jedoch auf binäre Labels beschränkt und berücksichtigen nicht die Schwere von Fehlern. In diesem Artikel stellen wir eine neue hierarchische AP-Trainingsmethode für relevante Bildretrieval (HAP-PIER) vor. HAPPIER basiert auf einer neuen H-AP-Metrik, die eine Konzepthierarchie nutzt, um die AP zu verfeinern, indem sie die Bedeutung von Fehlern integriert und Rankings präziser bewertet. Um tiefe Modelle mit H-AP zu trainieren, untersuchen wir sorgfältig die Struktur des Problems und entwerfen eine glatte untere Schranke als Ersatzfunktion, kombiniert mit einem Clustering-Verlust, der eine konsistente Ordnung gewährleistet. Umfangreiche Experimente an sechs Datensätzen zeigen, dass HAPPIER die derzeit besten Methoden für hierarchische Retrieval deutlich übertrifft, während es bei der Bewertung feinabgestimmter Rankings mit den neuesten Ansätzen konkurrieren kann. Schließlich zeigen wir, dass HAPPIER zu einer besseren Organisation des Embedding-Raums führt und die schwerwiegendsten Ausfälle nicht-hierarchischer Methoden vermeidet. Unser Quellcode ist öffentlich verfügbar unter: https://github.com/elias-ramzi/HAPPIER.