17 天前

GEFF:利用带有面部特征的画廊增强提升任意换衣人员重识别模型性能

Daniel Arkushin, Bar Cohen, Shmuel Peleg, Ohad Fried
GEFF:利用带有面部特征的画廊增强提升任意换衣人员重识别模型性能
摘要

在衣物变化重识别(Clothes-Changing Re-Identification, CC-ReID)任务中,给定一个目标人物的查询样本,其目标是根据一个标注好的图像库(gallery)判断该人物的正确身份,而该人物在图像库中的不同图像中穿着不同的服装。目前,已有若干模型通过提取与衣物无关的特征来应对这一挑战。然而,这些模型在衣物变化场景下的性能仍显著低于同一衣物场景(即人物在图像库中始终穿着相同服装)下的表现。由于服装相关特征在数据中往往占据主导地位,我们提出一种新方法,称为“图像库增强”(Gallery Enrichment),旨在有效利用这些衣物相关特征。该方法通过无监督算法,基于查询样本的面部特征,将其补充至原始图像库中,从而丰富图像库内容。此外,我们证明,将重识别(ReID)模块与面部特征提取模块相结合,并在增强后的图像库上进行训练,能够显著提升ReID模型的准确性,即使在查询样本穿着全新服饰且未包含面部信息的情况下亦然。同时,我们指出,现有的CC-ReID基准测试未能充分反映真实世界的应用场景,因此提出一个新的视频级CC-ReID数据集——42Street,该数据集基于一场包含密集人群和频繁换装的戏剧表演构建,具有高度真实性和挑战性。将我们提出的方法(GEFF)应用于多个主流ReID模型,在PRCC与LTCC基准上的Top-1衣物变化识别准确率分别实现了平均33.5%和6.7%的显著提升。结合当前最先进的ReID模型,我们的方法在PRCC、LTCC、CCVID、LaST、VC-Clothes等多个现有基准以及新提出的42Street数据集上均取得了新的最先进(SOTA)性能。