Apprentissage de Représentations Visuelles Semi-Supervisé pour la Compatibilité des Vêtements

Nous abordons le problème de la prédiction complémentaire en matière de mode. Les approches existantes se concentrent sur l'apprentissage d'un espace d'embedding où les articles de mode de différentes catégories qui sont visuellement compatibles sont plus proches les uns des autres. Cependant, la création de tels ensembles étiquetés est laborieuse et il n'est pas réalisable de générer toutes les combinaisons possibles d'ensembles, notamment avec des catalogues de mode importants. Dans ce travail, nous proposons une approche d'apprentissage semi-supervisé où nous utilisons un corpus de mode important non étiqueté pour créer des ensembles pseudo-positifs et pseudo-négatifs à la volée pendant l'entraînement. Pour chaque ensemble étiqueté dans un lot d'entraînement, nous obtenons un pseudo-ensemble en appariant chaque article de l'ensemble étiqueté avec des articles non étiquetés. De plus, nous introduisons une régularisation de cohérence pour garantir que la représentation des images originales et leurs transformations soient cohérentes, afin d'intégrer implicitement les couleurs et d'autres attributs importants par auto-supervision. Nous menons des expériences exhaustives sur Polyvore, Polyvore-D et notre nouveau jeu de données large échelle Fashion Outfits, et montrons que notre approche, même avec seulement une fraction d'exemples étiquetés, performe au même niveau que les méthodes entièrement supervisées.