HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen von Super-Features für die Bildretrieval

Philippe Weinzaepfel Thomas Lucas Diane Larlus Yannis Kalantidis

Zusammenfassung

Verfahren, die lokale und globale Merkmale kombinieren, haben in jüngster Zeit hervorragende Leistungen auf mehreren anspruchsvollen Benchmarks für tiefe Bildretrieval-Systeme gezeigt. Ihre Nutzung lokaler Merkmale wirft jedoch mindestens zwei Probleme auf. Erstens reduzieren sich diese lokalen Merkmale lediglich auf lokalisierte Aktivierungen einer neuronalen Netzwerk-Karte und können daher äußerst redundant sein. Zweitens werden sie typischerweise mit einer globalen Verlustfunktion trainiert, die ausschließlich auf einer Aggregation lokaler Merkmale wirkt; im Gegensatz dazu basiert die Testphase auf der Übereinstimmung lokaler Merkmale, was eine Diskrepanz zwischen Training und Test verursacht. In diesem Artikel stellen wir eine neuartige Architektur für tiefes Bildretrieval vor, die ausschließlich auf mittleren Merkmalen basiert, die wir „Super-Features“ nennen. Diese Super-Features werden durch ein iteratives Aufmerksamkeitsmodul konstruiert und bilden eine geordnete Menge, wobei jedes Element sich auf ein lokalisiertes und diskriminatives Bildmuster konzentriert. Für das Training werden lediglich Bildklassenbezeichnungen benötigt. Ein kontrastiver Verlust wirkt direkt auf der Ebene der Super-Features und fokussiert jene, die über Bilder hinweg übereinstimmen. Ein zweiter, ergänzender Verlust fördert die Diversität. Experimente auf gängigen Benchmark-Datenbanken für Landmarkenretrieval bestätigen, dass Super-Features bei Verwendung derselben Anzahl von Merkmalen die derzeit besten Methoden erheblich übertrifft und dabei einen signifikant geringeren Speicherbedarf aufweist, um vergleichbare Leistung zu erzielen. Der Quellcode und die Modelle sind verfügbar unter: https://github.com/naver/FIRe.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen von Super-Features für die Bildretrieval | Paper | HyperAI