通过协变量偏移适应提升对常见噪声的鲁棒性

当前最先进的机器视觉模型容易受到图像退化（如模糊或压缩伪影）的影响，这在许多实际应用场景中限制了其性能表现。本文指出，目前广泛使用的评估模型对常见图像退化鲁棒性的基准（如ImageNet-C）在许多（但并非全部）应用情境下低估了模型的真实鲁棒性。其核心洞察在于：在许多实际场景中，可获取多个未标注的退化图像样本，这些样本可用于无监督的在线自适应。通过用退化图像本身的激活统计量替代训练集上由批量归一化（Batch Normalization）估计的统计量，我们发现这一方法在25种主流计算机视觉模型上均能一致地提升模型鲁棒性。以ResNet-50为例，采用修正后的统计量后，其在ImageNet-C上的平均分类误差（mCE）从未经适应的76.7%降低至62.2%。对于更具鲁棒性的DeepAugment+AugMix模型，我们进一步将当前ResNet-50架构所达到的最先进水平从53.6% mCE提升至45.4% mCE。值得注意的是，仅使用单个样本进行适应即可显著提升ResNet-50与AugMix模型的鲁棒性，而仅需32个样本即可使ResNet-50架构的性能超越当前最优水平。我们主张，在报告退化基准测试结果以及其他分布外泛化场景下的性能指标时，应始终包含经过统计量自适应后的结果，以更真实地反映模型在现实应用中的表现。