Command Palette
Search for a command to run...
基于文本的属性辅助匹配人员搜索
基于文本的属性辅助匹配人员搜索
Surbhi Aggarwal R. Anirban Chakraborty Venkatesh Babu
摘要
基于文本的人体搜索旨在检索与给定文本查询最匹配的行人图像。现有方法通常利用类别ID信息来获取具有区分性且保持身份一致性的特征表示。然而,是否显式地确保数据语义信息得以保留这一问题尚未得到充分探索。在本文提出的方法中,我们通过引入属性预测这一附加任务,旨在生成语义保持型的嵌入表示。由于在基于文本的人体搜索任务中,属性标注通常不可用,我们首先从文本语料库中自动挖掘属性信息。这些挖掘得到的属性被用作弥合图像与文本模态之间差异的桥梁,同时促进表示学习的优化。总体而言,我们提出一种基于文本的人体搜索方法,通过联合学习由类别信息驱动的特征空间与由属性信息驱动的特征空间,并综合利用两者以获得最终的检索结果。在基准数据集CUHK-PEDES上的实验表明,学习属性空间不仅显著提升了模型性能,取得了56.68%的最新Rank-1准确率,还生成了具有人类可解释性的特征表示。