Vous avez perdu votre style ? Naviguer grâce à une approche au niveau sémantique pour la récupération d’habillement à partir de texte

Les stylistes de mode ont historiquement comblé l’écart entre les désirs des consommateurs et les tenues parfaites, qui reposent sur des combinaisons complexes de couleurs, de motifs et de matériaux. Bien que les progrès récents dans les systèmes de recommandation de mode aient permis des avancées significatives en matière de prédiction de compatibilité des tenues et de récupération d’articles complémentaires, ces systèmes dépendent fortement des choix préalablement sélectionnés par les utilisateurs. Nous introduisons donc une approche révolutionnaire pour la recommandation de mode : une tâche de récupération de tenue à partir de texte, qui génère un ensemble complet de vêtements uniquement à partir de descriptions textuelles fournies par les utilisateurs. Notre modèle est conçu à trois niveaux sémantiques — article, style et tenue — où chaque niveau agrège progressivement les données afin de produire une recommandation de tenue cohérente à partir d’une entrée textuelle. Dans cette approche, nous exploitons des stratégies similaires à celles utilisées dans les modèles de pré-entraînement contrastif langage-image, afin de traiter la matrice complexe des styles au sein des ensembles de tenues. En utilisant les jeux de données Maryland Polyvore et Polyvore Outfit, notre méthode a surpassé significativement les modèles les plus avancés dans les tâches de récupération texte-vidéo, confirmant ainsi son efficacité dans le domaine de la recommandation de mode. Cette recherche ne se contente pas d’ouvrir une nouvelle voie dans les systèmes de recommandation de mode, mais propose également une méthode capable de capturer l’essence des préférences individuelles de style à travers des descriptions textuelles.