Modewiederherstellung durch Graph-Reasoning-Netzwerke auf einer Ähnlichkeitspyramide

Das Zuordnen von Kleidungsbildern von Kunden und Online-Shopping-Geschäften hat reichhaltige Anwendungen im E-Commerce. Bestehende Algorithmen kodieren ein Bild als globalen Merkmalsvektor und führen die Suchvorgänge mit dieser globalen Darstellung durch. Jedoch werden diskriminierende lokale Informationen auf den Kleidungsstücken in dieser globalen Darstellung überlagert, was zu suboptimalen Leistungen führt. Um dieses Problem zu lösen, schlagen wir ein neues Graph Reasoning Network (GRNet) auf einer Ähnlichkeitspyramide vor, das Ähnlichkeiten zwischen einem Abfragebild und einem Galeriekleidungsstück durch Verwendung sowohl globaler als auch lokaler Darstellungen in mehreren Skalen lernt. Die Ähnlichkeitspyramide wird durch einen Graphen der Ähnlichkeit dargestellt, bei dem die Knoten Ähnlichkeiten zwischen Kleidungskomponenten in verschiedenen Skalen repräsentieren und die endgültige Zuordnungswertung durch Nachrichtenaustausch entlang der Kanten ermittelt wird. In GRNet wird das Graph-Reasoning durch das Training eines Graph-Konvolutionssystems gelöst, wodurch es möglich ist, wichtige Kleidungskomponenten auszurichten und so die Kleider-Suchleistung zu verbessern. Um zukünftige Forschungen zu erleichtern, stellen wir eine neue Benchmark-Datenbank namens FindFashion vor, die umfangreiche Annotationen von Begrenzungsboxen, Ansichten, Verdeckungen und Zuschneidungen enthält. Ausführliche Experimente zeigen, dass GRNet neue Stand-of-the-Art-Ergebnisse auf zwei anspruchsvollen Benchmarks erzielt: Zum Beispiel steigern sich die Top-1-, Top-20- und Top-50-Akkuratenzen auf DeepFashion um 26 %, 64 % und 75 % (d.h. absolute Verbesserungen von 4 %, 10 % und 10 %). GRNet übertrifft damit die Konkurrenten deutlich. Auf FindFashion erreicht GRNet erhebliche Verbesserungen in allen empirischen Szenarien.