Halbüberwachtes visuelles Repräsentationslernen für die Kompatibilität von Modeartikeln

Wir betrachten das Problem der komplementären Modevorhersage. Bestehende Ansätze konzentrieren sich darauf, einen Einbettungsraum zu lernen, in dem modebezogene Artikel aus verschiedenen Kategorien, die visuell kompatibel sind, näher zueinander liegen. Allerdings ist die Erstellung solcher etikettierter Outfits aufwendig und es ist nicht machbar, alle möglichen Outfit-Kombinationen zu generieren, insbesondere bei großen Modedatenbeständen. In dieser Arbeit schlagen wir einen semi-überwachten Lernansatz vor, bei dem wir ein großes unetikettiertes Modekorpus nutzen, um während des Trainings spontan Pseudo-Positive und Pseudo-Negative Outfits zu erstellen. Für jedes etikettierte Outfit in einem Trainingsbatch erhalten wir ein Pseudo-Outfit, indem wir jeden Artikel im etikettierten Outfit mit unetikettierten Artikeln abgleichen. Zudem führen wir eine Konsistenzregulierung ein, um sicherzustellen, dass die Darstellungen der ursprünglichen Bilder und ihrer Transformationen konsistent sind, wodurch Farbe und andere wichtige Attribute implizit durch Selbstüberwachung berücksichtigt werden. Wir führen umfangreiche Experimente auf den Datensätzen Polyvore, Polyvore-D und unserem neu erstellten großen Modedatensatz „Fashion Outfits“ durch und zeigen, dass unser Ansatz mit nur einem Bruchteil von etikettierten Beispielen vergleichbare Ergebnisse wie vollständig überwachte Methoden erzielt.