本研究では、データセット内の自然な変動に起因する分布シフト（distribution shift）に対して、現在のImageNetモデルがどれほど頑健（robust）であるかを検討する。現在の頑健性に関する多くの研究は、合成的な画像ノイズ（ノイズ、模擬的な天候アーティファクト、敵対的例など）に注目しており、これにより合成的な分布シフトにおける頑健性と、実データで発生する分布シフトにおける頑健性との関係が不明確なままとなっている。204種類のImageNetモデルを213の異なるテスト条件下で評価した結果に基づき、現在の合成的な分布シフトに対する頑健性が、自然な分布シフトへと効果的に転移（transfer）されるケースはほとんどないことが明らかになった。さらに、現在用いられている大多数の手法は、本研究で構築したテストベッドにおける自然な分布シフトに対して、有意な頑健性を提供していない。唯一の例外は、より大規模で多様性の高いデータセットで学習することであり、複数の事例で頑健性の向上が確認されたが、依然として性能ギャップを埋めるには至っていない。これらの結果から、現実のデータで生じる分布シフトは、現在のところ未解決の研究課題であると示唆される。本研究で用いたテストベッドとデータは、今後の研究を支援するため、https://modestyachts.github.io/imagenet-testbed/ にて公開している。