Dark Side Augmentation: Erzeugung vielfältiger Nachtbeispiele für metrisches Lernen

Bildretrievemethoden, die auf CNN-Deskriptoren basieren, beruhen auf der metrischen Lernung anhand einer großen Anzahl vielfältiger positiver und negativer Bildpaare. Domänen wie Nachtaufnahmen leiden aufgrund der geringen Verfügbarkeit und Variabilität an Trainingsdaten trotz guter Leistung von Methoden auf Standardbenchmarks unter schlechter Retrieval-Performance. Wir schlagen vor, einen GAN-basierten Generatoren für synthetische Bilder zu trainieren, der verfügbare Tagsaufnahmen in Nachtaufnahmen umwandelt. Ein solcher Generator dient in der metrischen Lernung als Form der Datenaugmentation und liefert Trainingsdaten für den datenarmen Bereich. Verschiedene Generator-Architekturen werden evaluiert und analysiert. Wir tragen eine neuartige, leichtgewichtige GAN-Architektur bei, die die Konsistenz zwischen ursprünglichem und transformiertem Bild durch Kantenerhaltung sicherstellt. Zudem ermöglicht die vorgeschlagene Architektur die gleichzeitige Trainierung eines Kantendetektors, der sowohl auf Tag- als auch auf Nachtaufnahmen funktioniert. Um die Vielfalt der Trainingsbeispiele weiter zu erhöhen und die Generalisierungsfähigkeit des trainierten Modells zu maximieren, schlagen wir eine neuartige Methode des vielfältigen Anchor-Mining vor.Die vorgeschlagene Methode erreicht gegenüber den Stand der Technik verbesserte Ergebnisse auf einem standardisierten Tokyo 24/7-Tag-Nacht-Retrieval-Benchmark, während die Leistung auf den Datensätzen Oxford und Paris beibehalten wird. Dies wird erreicht, ohne dass Trainingspaare aus passenden Tag- und Nachtaufnahmen benötigt werden. Der Quellcode ist unter https://github.com/mohwald/gandtr verfügbar.