Nous étudions la robustesse des modèles actuels sur ImageNet face aux décalages de distribution provoqués par des variations naturelles au sein des jeux de données. La plupart des recherches sur la robustesse se concentrent sur des perturbations synthétiques d’images (bruit, artefacts météorologiques simulés, exemples adverses, etc.), ce qui laisse ouverte la question de la relation entre la robustesse face aux décalages de distribution synthétiques et celle face aux décalages réels observés dans les données du monde réel. À la lumière d’une évaluation de 204 modèles ImageNet dans 213 conditions de test différentes, nous constatons qu’il existe souvent peu ou pas de transfert de robustesse des décalages de distribution synthétiques vers les décalages naturels. En outre, la plupart des techniques actuelles ne confèrent aucune robustesse face aux décalages de distribution naturels présents dans notre cadre d’évaluation. La principale exception est l’entraînement sur des jeux de données plus volumineux et plus diversifiés, qui améliore la robustesse dans plusieurs cas, mais reste loin de combler les écarts de performance. Nos résultats indiquent que les décalages de distribution observés dans les données réelles constituent actuellement un problème de recherche ouvert. Nous mettons à disposition notre cadre d’évaluation et les données comme ressource pour les travaux futurs à l’adresse suivante : https://modestyachts.github.io/imagenet-testbed/.