Graph-RISE: Graph-regulierter Bildsemantik-Embedding

Das Lernen von Bildrepräsentationen zur Erfassung feingranularer Semantik ist eine herausfordernde und wichtige Aufgabe, die viele Anwendungen wie Bildsuche und -clustering ermöglicht. In dieser Arbeit stellen wir Graph-Regularized Image Semantic Embedding (Graph-RISE) vor, einen groß angelegten neuronalen Graph-Lernrahmen, der es uns ermöglicht, Einbettungen zu trainieren, um bislang unbekannte O(40 Mio.) ultrafeingranulare semantische Labels zu diskriminieren. Graph-RISE übertrifft state-of-the-art-Bild-Einbettungsalgorithmen in mehreren Evaluationsaufgaben, darunter Bildklassifikation und Tripletten-Ranking. Wir präsentieren Fallstudien, die zeigen, dass die bildbasierte Retrieval-Methode auf Basis von Graph-RISE qualitativ effektiv Semantik erfasst und im Vergleich zum state-of-the-art die Nuancen auf einer Ebene differenziert, die dem menschlichen Wahrnehmungsvermögen näher kommt.