Lernen von Super-Features für die Bildretrieval

Verfahren, die lokale und globale Merkmale kombinieren, haben in jüngster Zeit hervorragende Leistungen auf mehreren anspruchsvollen Benchmarks für tiefe Bildretrieval-Systeme gezeigt. Ihre Nutzung lokaler Merkmale wirft jedoch mindestens zwei Probleme auf. Erstens reduzieren sich diese lokalen Merkmale lediglich auf lokalisierte Aktivierungen einer neuronalen Netzwerk-Karte und können daher äußerst redundant sein. Zweitens werden sie typischerweise mit einer globalen Verlustfunktion trainiert, die ausschließlich auf einer Aggregation lokaler Merkmale wirkt; im Gegensatz dazu basiert die Testphase auf der Übereinstimmung lokaler Merkmale, was eine Diskrepanz zwischen Training und Test verursacht. In diesem Artikel stellen wir eine neuartige Architektur für tiefes Bildretrieval vor, die ausschließlich auf mittleren Merkmalen basiert, die wir „Super-Features“ nennen. Diese Super-Features werden durch ein iteratives Aufmerksamkeitsmodul konstruiert und bilden eine geordnete Menge, wobei jedes Element sich auf ein lokalisiertes und diskriminatives Bildmuster konzentriert. Für das Training werden lediglich Bildklassenbezeichnungen benötigt. Ein kontrastiver Verlust wirkt direkt auf der Ebene der Super-Features und fokussiert jene, die über Bilder hinweg übereinstimmen. Ein zweiter, ergänzender Verlust fördert die Diversität. Experimente auf gängigen Benchmark-Datenbanken für Landmarkenretrieval bestätigen, dass Super-Features bei Verwendung derselben Anzahl von Merkmalen die derzeit besten Methoden erheblich übertrifft und dabei einen signifikant geringeren Speicherbedarf aufweist, um vergleichbare Leistung zu erzielen. Der Quellcode und die Modelle sind verfügbar unter: https://github.com/naver/FIRe.