Sich Anziehen als Ganzes: Lernen der Kompatibilität von Outfits auf Basis von knotenbasierten Graph-Neuralen Netzen

Mit der raschen Entwicklung des Modemarktes steigen die Anforderungen der Kunden an Modeempfehlungen. In dieser Arbeit untersuchen wir ein praktisches Problem der Modeempfehlung, indem wir die Frage beantworten: „Welches Element sollten wir auswählen, um es mit den gegebenen Modesachen zu kombinieren und ein kompatibles Outfit zu bilden?“. Der Schlüssel zu diesem Problem ist die Schätzung der Outfit-Kompatibilität. Frühere Arbeiten, die sich auf die Kompatibilität von zwei Elementen oder die Darstellung eines Outfits als Sequenz konzentrierten, schafften es nicht, die komplexen Beziehungen zwischen den Elementen in einem Outfit vollständig zu nutzen. Um dies zu beheben, schlagen wir vor, ein Outfit als Graph darzustellen. Insbesondere bauen wir einen Fashion-Graph auf, bei dem jeder Knoten eine Kategorie repräsentiert und jede Kante die Interaktion zwischen zwei Kategorien darstellt. Demgemäß kann jedes Outfit durch einen Teilgraphen dargestellt werden, indem man die Elemente in ihre entsprechenden Kategorienknoten einfügt. Um die Outfit-Kompatibilität aus einem solchen Graph abzuleiten, schlagen wir Node-wise Graph Neural Networks (NGNN) vor, die eine bessere Modellierung der Knoteninteraktionen und das Erlernen besserer Knotendarstellungen ermöglichen. In NGNN ist die Knoteninteraktion auf jeder Kante unterschiedlich und wird durch Parameter bestimmt, die mit den beiden verbundenen Knoten korreliert sind. Ein Aufmerksamkeitsmechanismus (Attention Mechanism) wird verwendet, um mithilfe der gelernten Knotendarstellungen den Kompatibilitätswert des Outfits zu berechnen. NGNN kann nicht nur zur Modellierung der Outfit-Kompatibilität aus visueller oder textbasierter Modalität eingesetzt werden, sondern auch aus mehreren Modalitäten. Wir führen Experimente zu zwei Aufgaben durch: (1) Lückentext: Vorschlag eines Elements, das mit den vorhandenen Bestandteilen des Outfits übereinstimmt; (2) Kompatibilitätsvorhersage: Vorhersage der Kompatibilitätswerte gegebener Outfits. Die experimentellen Ergebnisse zeigen die große Überlegenheit unserer vorgeschlagenen Methode gegenüber anderen Verfahren.