HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Sketch Me That Shoe

{Chen-Change Loy Yi-Zhe Song Qian Yu Timothy M. Hospedales Tao Xiang Feng Liu}

Sketch Me That Shoe

Abstract

Wir untersuchen das Problem der feinabgestuften skizzenbasierten Bildretrieval (Sketch-Based Image Retrieval, SBIR), bei dem freihandige menschliche Skizzen als Abfragen verwendet werden, um Bildinstanzen auf Instanzebene zu finden. Dies stellt eine äußerst herausfordernde Aufgabe dar, da (i) visuelle Vergleiche nicht nur feinabgestuft, sondern auch über Domänen hinweg durchgeführt werden müssen, (ii) freihandgezeichnete (Finger-)Skizzen stark abstrakt sind, was eine feinabgestufte Übereinstimmung erschwert, und vor allem (iii) annotierte, cross-domain-Skizzen-Foto-Datensätze, die zur Trainingszwecken erforderlich sind, äußerst selten sind, was viele state-of-the-art-Verfahren des maschinellen Lernens herausfordert. In diesem Artikel adressieren wir erstmals alle diese Herausforderungen und liefern einen Schritt hin zu den Fähigkeiten, die eine kommerzielle skizzenbasierte Bildretrieval-Anwendung ermöglichen würden. Wir stellen eine neue Datenbank mit 1.432 Skizze-Foto-Paaren aus zwei Kategorien vor, die über 32.000 feinabgestufte Tripel-Rangordnungsannotierungen aufweist. Anschließend entwickeln wir ein tiefes Tripel-Rangierungsmodell für die Instanzebene im SBIR mit einer neuartigen Datenverstärkungs- und stufenweisen Vortrainingsstrategie, um das Problem der unzureichenden feinabgestuften Trainingsdaten zu mildern. Umfassende Experimente werden durchgeführt, um eine Vielzahl von Erkenntnissen zu den Herausforderungen der Datensuffizienz und der Vermeidung von Überanpassung bei der Trainingstiefen-Netzwerke für feinabgestufte, cross-domain-Rangierungs-Aufgaben beizutragen.

Benchmarks

BenchmarkMethodikMetriken
sketch-based-image-retrieval-on-chairsSketch-a-Net + rankSVM
R@1: 47.4
R@10: 82.5
sketch-based-image-retrieval-on-chairsBoW-HOG + rankSVM
R@1: 28.9
R@10: 67.0
sketch-based-image-retrieval-on-chairsShoes net +
R@1: 65.0
R@10: 92.8
sketch-based-image-retrieval-on-chairsDense-HOG + rankSVM
R@1: 52.6
R@10: 93.8
sketch-based-image-retrieval-on-chairsChairs net +
R@1: 72.2
R@10: 99.0
sketch-based-image-retrieval-on-handbagsChairs net +
R@1: 26.2
R@10: 58.3
sketch-based-image-retrieval-on-handbagsDense-HOG + rankSVM
R@1: 15.5
R@10: 40.5
sketch-based-image-retrieval-on-handbagsShoes net +
R@1: 23.2
R@10: 59.5
sketch-based-image-retrieval-on-handbagsSketch-a-Net + rankSVM
R@1: 9.5
R@10: 44.1
sketch-based-image-retrieval-on-handbagsBoW-HOG + rankSVM
R@1: 2.4
R@10: 10.7

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Sketch Me That Shoe | Forschungsarbeiten | HyperAI