Habillage Global : Apprentissage de la Compatibilité des Tenues basé sur les Réseaux Neuronaux Graphiques Nodaux

Avec le développement rapide du marché de la mode, les exigences des clients en matière de recommandations de vêtements augmentent. Dans cet article, nous visons à examiner un problème pratique de recommandation de vêtements en répondant à la question : « quel article devrions-nous sélectionner pour l'associer aux articles de mode donnés et former une tenue compatible ? ». La clé de ce problème réside dans l'estimation de la compatibilité des tenues. Les travaux précédents, qui se concentrent sur la compatibilité entre deux articles ou représentent une tenue comme une séquence, n'ont pas pleinement exploité les relations complexes entre les articles d'une tenue. Pour remédier à cela, nous proposons de représenter une tenue sous forme de graphe. Plus précisément, nous construisons un Graphe de Mode (Fashion Graph), où chaque nœud représente une catégorie et chaque arête représente l'interaction entre deux catégories. Par conséquent, chaque tenue peut être représentée par un sous-graphe en plaçant les articles dans leurs nœuds catégoriels correspondants. Pour inférer la compatibilité des tenues à partir d'un tel graphe, nous proposons les Réseaux Neuronaux Graphiques Nodaux (Node-wise Graph Neural Networks, NGNN), qui peuvent mieux modéliser les interactions nodales et apprendre des représentations nodales plus précises. Dans les NGNN, l'interaction nodale sur chaque arête est différente et déterminée par des paramètres liés aux deux nœuds connectés. Un mécanisme d'attention est utilisé pour calculer le score de compatibilité des tenues avec les représentations nodales apprises. Les NGNN ne peuvent pas seulement être utilisés pour modéliser la compatibilité des tenues à partir de modalités visuelles ou textuelles, mais aussi à partir de plusieurs modalités. Nous menons des expériences sur deux tâches : (1) Remplissage des blancs : suggérer un article qui s'accorde avec les composants existants d'une tenue ; (2) Prédiction de compatibilité : prédire les scores de compatibilité des tenues données. Les résultats expérimentaux démontrent la supériorité notable de notre méthode proposée par rapport aux autres.