我们研究了当前ImageNet模型在因数据集自然变化而引发的分布偏移（distribution shifts）下的鲁棒性。目前大多数关于鲁棒性的研究集中于合成图像扰动（如噪声、模拟天气伪影、对抗样本等），这使得合成分布偏移下的鲁棒性与真实数据中出现的分布偏移之间的关联尚不明确。基于对204个ImageNet模型在213种不同测试条件下的评估，我们发现：当前模型在合成分布偏移上所表现出的鲁棒性，往往难以迁移到真实数据中的自然分布偏移。此外，大多数现有的鲁棒性提升技术在我们的测试环境中，对真实数据中的自然分布偏移均未提供有效保护。唯一的例外是使用更大、更具多样性的数据集进行训练，该方法在多个案例中确实提升了模型的鲁棒性，但仍远未弥合性能差距。我们的研究结果表明，真实数据中出现的分布偏移目前仍是一个开放的研究问题。我们已将测试平台及数据集作为公共资源发布，供未来研究使用，详见：https://modestyachts.github.io/imagenet-testbed/。