Iterative Manifold-Einbettungsschicht, gelernt durch unvollständige Daten für die großskalige Bildsuche

Bestehende Methoden des Manifold-Learnings sind für die Aufgabe der Bildsuche nicht geeignet, da die meisten von ihnen nicht in der Lage sind, Abfragebilder zu verarbeiten und insbesondere bei großen Datenbanken erhebliche zusätzliche Rechenkosten verursachen. Daher schlagen wir das iterative Manifold-Embedding (IME)-Layer vor, dessen Gewichte durch eine unüberwachte Strategie offline gelernt werden, um die intrinsischen Mannigfaltigkeiten mit unvollständigen Daten zu erforschen. Bei einer großen Datenbank, die 27.000 Bilder enthält, ist das IME-Layer zur Einbettung der ursprünglichen Darstellungen bei Abfragezeiten mehr als 120-mal schneller als andere Methoden des Manifold-Learnings. Im Offline-Lernprozess wird die ursprüngliche Deskriptoren von Datenbankbildern, die in einem hochdimensionalen Raum liegen, iterativ in manifaldbasierte Darstellungen eingebettet, um die IME-Darstellungen zu generieren. Anhand der ursprünglichen Deskriptoren und der IME-Darstellungen der Datenbankbilder schätzen wir die Gewichte des IME-Layers mittels Ridge-Regression. Im Online-Retrieval-Prozess verwenden wir das IME-Layer, um die ursprüngliche Darstellung des Abfragebildes mit vernachlässigbarem Zeitverlust (2 Millisekunden) abzubilden. Wir führen Experimente auf fünf öffentlichen Standarddatensätzen für Bildsuche durch. Das vorgeschlagene IME-Layer übertrifft signifikant verwandte Dimensionsreduktionsmethoden und Manifold-Learning-Methoden. Ohne Nachbearbeitung erreicht unser IME-Layer eine Leistungssteigerung vergleichbarer Bildsuchmethoden mit Nachbearbeitung auf den meisten Datensätzen und benötigt weniger Rechenkosten.