本稿では、機械学習モデルの性能を大幅に低下させる2つの課題的なデータセットを紹介します。これらのデータセットは、単純な敵対的フィルトレーション技術を使用して収集され、不適切な手がかりが限られたデータセットを作成しています。当該データセットの実世界の未加工例は、様々な未知のモデルに対して一貫して転送可能であり、コンピュータビジョンモデルが共通の弱点を持っていることを示しています。最初のデータセットはImageNet-Aと呼ばれ、ImageNetテストセットに類似していますが、既存のモデルにとって遥かに難易度が高いです。また、ImageNetモデル用に作成された最初の外出自分布検出データセットであるImageNet-Oも整備しました。ImageNet-AにおいてDenseNet-121は約2%の精度しか得られず、これは精度が約90%低下することを意味し、その外出自分布検出性能はほぼランダムなレベルとなっています。我々は現行のデータ拡張技術がほとんど性能向上に寄与しないことを見出し、他の公開訓練データセットを使用しても改善効果は限定的であることがわかりました。しかし、コンピュータビジョンアーキテクチャへの改良が堅牢なモデルへの有望な道筋であることも確認されました。