基于相似性金字塔的图推理网络进行时尚检索

将顾客和在线购物商店的服装图像进行匹配在电子商务中具有广泛的应用。现有的算法通常将图像编码为全局特征向量，并使用该全局表示进行检索。然而，这种全局表示会淹没服装上的判别性局部信息，导致性能不佳。为了解决这一问题，我们提出了一种基于相似度金字塔的新型图推理网络（Graph Reasoning Network, GRNet），该网络通过多尺度下的全局和局部表示来学习查询图像与画廊服装之间的相似度。相似度金字塔由一个相似度图表示，其中节点代表不同尺度下服装部件之间的相似度，最终的匹配得分通过沿边传递消息获得。在GRNet中，图推理问题通过训练图卷积网络来解决，从而对显著的服装部件进行对齐以提高服装检索效果。为了促进未来的研究，我们引入了一个新的基准数据集FindFashion，该数据集包含丰富的边界框、视角、遮挡和裁剪注释。大量实验表明，GRNet在两个具有挑战性的基准数据集上取得了最新的最佳结果，例如，在DeepFashion数据集上将前1名、前20名和前50名的准确率分别提升至26%、64%和75%（即绝对提升了4%、10%和10%），大幅优于竞争对手。在FindFashion数据集上，GRNet在所有实证设置中均实现了显著改进。