نقدم مجموعتين من البيانات تحملان تحديات كبيرة وتؤديان إلى تدهور أداء نماذج التعلم الآلي بشكل كبير. تم جمع هذه المجموعات باستخدام تقنية ترشيح معادية بسيطة لإنشاء مجموعات بيانات تحتوي على مؤشرات زائفة محدودة. تنتقل أمثلة العالم الحقيقي، غير المعدلة، في مجموعات بياناتنا إلى مختلف النماذج غير المعروفة بشكل موثوق، مما يدل على أن نماذج الرؤية الحاسوبية لديها نقاط ضعف مشتركة. الأولى تسمى ImageNet-A وهي مشابهة لمجموعة اختبار ImageNet، ولكنها أكثر تحديًا للنماذج الحالية بكثير. كما قمنا بتجميع مجموعة بيانات للكشف عن التوزيع خارج نطاق البيانات المعادية تُعرف باسم ImageNet-O، وهي أول مجموعة بيانات للكشف عن التوزيع خارج نطاق البيانات تم إنشاؤها لنماذج ImageNet. على ImageNet-A، يحصل DenseNet-121 على دقة تتراوح حول 2٪، وهو انخفاض في الدقة بنسبة حوالي 90٪، ودقة الكشف عن التوزيع خارج نطاق البيانات لديه على ImageNet-O قريبة من مستويات الصدفة العشوائية. نجد أن التقنيات الحالية لتضخيم البيانات تكاد لا تعزز الأداء، وأن استخدام مجموعات بيانات التدريب العامة الأخرى يوفر تحسينات محدودة. ومع ذلك، نجد أن التحسينات في هياكل الرؤية الحاسوبية توفر طريقًا واعدًا نحو نماذج أكثر صلابة (robust models).