1 个月前

基于节点图神经网络的整体搭配学习:服装兼容性研究

Zeyu Cui; Zekun Li; Shu Wu; Xiaoyu Zhang; Liang Wang
基于节点图神经网络的整体搭配学习:服装兼容性研究
摘要

随着时尚市场的快速发展,消费者对时尚推荐的需求日益增加。本文旨在探讨一个实际的时尚推荐问题,即“如何选择合适的单品来搭配给定的时尚物品,以形成一套兼容的穿搭”。解决这一问题的关键在于评估穿搭的兼容性。以往的研究主要集中在两件物品之间的兼容性或将以套装形式表示为序列,未能充分利用套装中各物品之间的复杂关系。为了弥补这一不足,我们提出将套装表示为图的形式。具体而言,我们构建了一个时尚图(Fashion Graph),其中每个节点代表一个类别,每条边则表示两个类别之间的互动。相应地,每个套装可以通过将单品放入其对应的类别节点来表示为子图。为了从这样的图中推断出穿搭的兼容性,我们提出了节点级图神经网络(Node-wise Graph Neural Networks, NGNN),该方法能够更好地建模节点间的交互并学习到更好的节点表示。在NGNN中,每条边上的节点交互都是不同的,由与两个连接节点相关的参数决定。利用注意力机制可以基于学习到的节点表示计算出穿搭的兼容性得分。NGNN不仅可用于从视觉或文本模态建模穿搭兼容性,还可以用于多模态建模。我们在两个任务上进行了实验:(1) 填空任务:建议与现有穿搭组件匹配的单品;(2) 兼容性预测:预测给定穿搭的兼容性得分。实验结果表明,我们的方法在性能上远超其他方法。

基于节点图神经网络的整体搭配学习:服装兼容性研究 | 最新论文 | HyperAI超神经