自然对抗物体

尽管当前最先进的目标检测方法已展现出令人瞩目的性能，但其模型在面对对抗性攻击和分布外（out-of-distribution）数据时往往缺乏鲁棒性。为此，我们提出一个新的数据集——自然对抗性物体（Natural Adversarial Objects, NAO），用于评估目标检测模型的鲁棒性。NAO 包含 7,934 张图像和 9,943 个物体，这些样本在原始状态下真实反映了现实场景，但会诱导当前最先进的检测模型以极高的置信度产生误分类。在 NAO 数据集上，EfficientDet-D7 的平均精度均值（mAP）相较于标准的 MSCOCO 验证集下降了 74.5%。此外，通过对多种目标检测架构的对比分析，我们发现模型在 MSCOCO 验证集上的优异表现，并不必然意味着其在 NAO 数据集上也具有更好的性能，这表明仅通过训练更精确的模型无法简单实现鲁棒性提升。为进一步探究 NAO 中样本难以被检测与分类的原因，我们开展了多项实验。通过图像块随机打乱实验发现，模型对局部纹理信息过度敏感。此外，结合积分梯度（integrated gradients）分析与背景替换实验，我们发现目标检测模型在预测类别标签时，过度依赖边界框内的像素信息，而对背景上下文信息则表现出显著的不敏感性。NAO 数据集可从以下链接下载：https://drive.google.com/drive/folders/15P8sOWoJku6SSEiHLEts86ORfytGezi8。