DeepFashion: Unterstützung robuster Kleidungsstück-Erkennung und -Abfrage durch reichhaltige Annotationen

Neuere Fortschritte in der Kleidungsobjekterkennung wurden durch die Erstellung von Kleidungsdatensätzen vorangetrieben. Bestehende Datensätze sind durch eine geringe Anzahl an Annotationen begrenzt und erweisen sich als schwierig zu bewältigen, wenn es um die Vielzahl von Herausforderungen in realen Anwendungsszenarien geht. In dieser Arbeit stellen wir DeepFashion vor, einen großskaligen Kleidungsdatensatz mit umfassenden Annotationen. Er umfasst über 800.000 Bilder, die reichhaltig mit einer großen Anzahl an Attributen, Kleidungslandmarken sowie Bildkorrespondenzen unter verschiedenen Szenarien – wie Laden, Straßenfotos und Verbraucheraufnahmen – annotiert sind. Diese detaillierte Annotation ermöglicht die Entwicklung leistungsfähiger Algorithmen zur Kleidungsobjekterkennung und fördert zukünftige Forschungsarbeiten. Um die Vorteile von DeepFashion zu demonstrieren, schlagen wir ein neues tiefes Modell namens FashionNet vor, das Kleidungsmerkmale durch die gleichzeitige Vorhersage von Kleidungsattributen und Landmarken lernt. Die geschätzten Landmarken werden anschließend zur Pooling- oder Gating-Operation der gelernten Merkmale verwendet und iterativ optimiert. Umfangreiche Experimente belegen die Wirksamkeit von FashionNet und die Nützlichkeit von DeepFashion.