一种具有对抗防御效果的人体重识别数据增强方法

行人重识别（Person Re-identification, ReID）模型的安全性在实际应用中起着决定性作用。然而，深度神经网络已被证实存在脆弱性，攻击者可通过向原始图像中添加人眼难以察觉的对抗扰动，误导在干净样本上表现良好的深度神经网络。为此，本文提出一种具备对抗防御能力的ReID多模态数据增强方法，主要包括以下两个方面：1）灰度块替换（Grayscale Patch Replacement, GPR），包含局部灰度块替换（Local Grayscale Patch Replacement, LGPR）与全局灰度块替换（Global Grayscale Patch Replacement, GGPR）。该方法不仅能够提升模型的识别准确率，还能有效增强模型对对抗样本的防御能力；2）多模态防御机制（Multi-Modal Defense），通过融合可见光、灰度图与素描图三种同质模态图像，进一步强化模型的鲁棒性。该方法通过融合不同模态的同质图像，丰富输入样本的多样性，从而降低ReID模型对颜色变化的过拟合现象，并使攻击者难以在数据集中找到可对齐的对抗空间，显著提升模型性能并大幅削弱攻击效果。融合的同质模态图像越多，模型的防御能力越强。所提出的防御方法在多个公开数据集上均表现出优异性能，成功抵御了由CVPR 2020提出的MS-SSIM对抗攻击方法[10]，并将模型准确率提升了467倍（从0.2%提升至93.3%）。相关代码已开源，地址为：https://github.com/finger-monkey/ReID_Adversarial_Defense。