CNN-Bildsuche lernt von BoW: Unüberwachtes Feinjustieren mit schwierigen Beispielen

Faltungsneuronale Netze (CNNs) erzielen in vielen Aufgaben der Computer Vision erstklassige Leistungen. Dieses Ergebnis wird jedoch durch extrem aufwändige manuelle Annotationen vorbereitet, die entweder für das Training von Grund auf oder für das Feinjustieren für die Zielaufgabe erforderlich sind. In dieser Arbeit schlagen wir ein Verfahren vor, um CNNs zur Bildsuche in einer großen Sammlung ungeordneter Bilder vollautomatisch zu feinjustieren. Wir verwenden moderne Such- und Struktur-aus-Bewegung (SfM) Methoden, um 3D-Modelle zu erhalten, die zur Auswahl der Trainingsdaten für das Feinjustieren der CNNs herangezogen werden. Wir zeigen, dass sowohl schwierige positive als auch schwierige negative Beispiele insbesondere bei der Objektsuche mit kompakten Codes die endgültige Leistung verbessern.