Nous présentons deux jeux de données complexes qui entraînent une dégradation substantielle des performances des modèles d'apprentissage automatique. Ces jeux de données sont collectés à l'aide d'une technique simple de filtration antagoniste pour créer des ensembles de données avec des indices spuriens limités. Les exemples réels et non modifiés de nos jeux de données se transposent fiablement à divers modèles inconnus, démontrant que les modèles de vision par ordinateur partagent des faiblesses communes. Le premier jeu de données est appelé ImageNet-A et ressemble au jeu de test ImageNet, mais il est beaucoup plus difficile pour les modèles existants. Nous avons également constitué un jeu de données pour la détection antagoniste hors distribution appelé ImageNet-O, qui est le premier jeu de données créé pour la détection hors distribution des modèles ImageNet. Sur ImageNet-A, un DenseNet-121 obtient environ 2% de précision, soit une baisse de précision d'environ 90%, et ses performances en détection hors distribution sur ImageNet-O sont proches du niveau du hasard. Nous constatons que les techniques actuelles d'augmentation des données n'améliorent guère les performances, et que l'utilisation d'autres ensembles de données d'entraînement publics offre des améliorations limitées. Cependant, nous trouvons que les améliorations apportées aux architectures de vision par ordinateur offrent une voie prometteuse vers des modèles robustes.