Globale Merkmale sind alles, was Sie für die Bildretrieval- und Nachsortierung benötigen

Bildretrievsysteme verwenden herkömmlicherweise ein zweistufiges Paradigma, bei dem globale Merkmale für die erste Retrieval-Phase und lokale Merkmale für die Nachbearbeitung (Reranking) eingesetzt werden. Die Skalierbarkeit dieses Ansatzes ist jedoch oft aufgrund der erheblichen Speicher- und Rechenkosten, die durch die lokale Merkmalsabgleichung im Reranking-Schritt entstehen, eingeschränkt. In diesem Artikel präsentieren wir SuperGlobal, einen neuartigen Ansatz, der ausschließlich globale Merkmale für beide Stufen nutzt und dabei Effizienz verbessert, ohne die Genauigkeit zu beeinträchtigen. SuperGlobal bringt wesentliche Verbesserungen in das Retrieval-System ein, wobei der Fokus auf der Verbesserung der globalen Merkmalsextraktion und des Reranking-Prozesses liegt. Bei der Extraktion identifizieren wir eine suboptimale Leistung, wenn die weit verbreiteten ArcFace-Verlustfunktion und die Generalized Mean (GeM)-Pooling-Methode kombiniert werden, und schlagen mehrere neue Module zur Verbesserung des GeM-Pooling vor. Im Reranking-Schritt führen wir eine neuartige Methode ein, um die globalen Merkmale von Query und den top-bewerteten Bildern nur anhand einer kleinen Menge von Bildern zu verfeinern, wodurch die Methode äußerst rechen- und speichereffizient ist. Unsere Experimente zeigen erhebliche Verbesserungen gegenüber dem Stand der Technik auf Standardbenchmarks. Insbesondere erreicht unsere einstufige Methode auf dem Revisited Oxford+1M Hard-Datensatz eine Verbesserung um 7,1 %, während unsere zweistufige Variante mit einem beeindruckenden Geschwindigkeitsvorteil von 64.865× eine Steigerung um 3,7 % erzielt. Unser zweistufiges System übertrifft den aktuellen Stand der Technik für einstufige Systeme um 16,3 % und bietet eine skalierbare, genaue Alternative für hochleistungsfähige Bildretrieval-Systeme mit minimalen zeitlichen Overheads. Code: https://github.com/ShihaoShao-GH/SuperGlobal.