AMES: Asymmetrische und speichereffiziente Ähnlichkeitsschätzung für die Instanz-Ebene-Recherche

Diese Arbeit untersucht das Problem der Re-Ranking-Optimierung für Instanz-basierte Bildretrieval unter der Einschränkung der Speichereffizienz, wobei das endgültige Ziel darin besteht, den Speicherverbrauch auf 1 KB pro Bild zu beschränken. Im Gegensatz zum weit verbreiteten Fokus auf Leistungssteigerungen legt diese Arbeit besonderen Wert auf den entscheidenden Kompromiss zwischen Leistungsfähigkeit und Speicheranforderungen. Das vorgeschlagene Modell basiert auf einer Transformer-Architektur, die darauf abzielt, die Ähnlichkeit zwischen Bildern durch die Erfassung von Wechselwirkungen innerhalb und zwischen Bildern anhand ihrer lokalen Deskriptoren zu schätzen. Ein charakteristisches Merkmal des Modells ist die Fähigkeit zur asymmetrischen Ähnlichkeitsschätzung. Datenbankbilder werden mit einer geringeren Anzahl an Deskriptoren repräsentiert als Abfragen, was eine Leistungsverbesserung ermöglicht, ohne den Speicherverbrauch zu erhöhen. Um eine Anpassungsfähigkeit an unterschiedliche Anwendungen zu gewährleisten, wird ein universelles Modell vorgestellt, das sich während der Testphase an eine variierende Anzahl lokaler Deskriptoren anpassen kann. Ergebnisse auf Standardbenchmarks belegen die Überlegenheit unseres Ansatzes gegenüber sowohl handgefertigten als auch gelernten Modellen. Insbesondere erreicht unser Ansatz im Vergleich zu aktuellen state-of-the-art-Methoden, die ihre Speicherauswirkungen ignorieren, nicht nur eine bessere Leistung, sondern tut dies mit einem signifikant reduzierten Speicherverbrauch. Der Quellcode und vortrainierte Modelle sind öffentlich verfügbar unter: https://github.com/pavelsuma/ames