في الآونة الأخيرة، توقف المجتمع المُتعلّم الآلي لحظة من التأمّل الذاتي. وفي ورقةٍ نُقشت على نطاق واسع في مؤتمر ICLR 2018، كتب سكولِي وآخرون: "نلاحظ أن معدل التقدّم التجريبي قد لا يكون مُوازيًا لزيادة مستمرة في مستوى الرigor التجريبي عبر المجال ككل." ويشكّل انتقادهم الرئيسي تطوّر "ثقافة بحثية ونشرية تُقدّر النجاحات" (مع التأكيد في النص الأصلي)، والتي تعني في الغالب "إثبات أن الطريقة الجديدة تتفوّق على الطرق السابقة في مهمة معينة أو معيار تقييم معين". ويمكن وصف هذا المفهوم بدقة بعبارة "السعي وراء الترتيبات القيادية"—ولقد لم يبقِ هذا مجرد استعارة بالنسبة لعدد كبير من المهام المتعلقة بالرؤية الحاسوبية ومعالجة اللغة الطبيعية. فهناك فعلاً لوحات ترتيب مركزية1 تُسجّل التقدّم التدريجي، حتى على مستوى الرقم الخامس بعد الفاصلة العشرية، وبعضها يستمر لسنوات عديدة، ويجعل من الممكن تجميع عشرات المدخلات.يذكّر سكولِي وآخرون بأن "هدف العلم ليس تحقيق الانتصارات، بل اكتساب المعرفة". لكن البنية الحالية للمنشأة العلمية (مثل ضغط النشر، وتيرة التقدّم، إلخ) تجعل "الانتصار" و"إجراء علوم جيدة" في كثير من الأحيان غير متوافقة تمامًا. ويدلّون على عدد من الدراسات التي تُظهر أن التقدّم الأخير في الشبكات العصبية قد يُعزى ببساطة إلى مشكلات بسيطة مثل تحسين المعلمات الفائقة (hyperparameter optimization). وتشهد العديد من النتائج صعوبة في التكرار، وقد تكون بعض التحسينات المُلاحظة مجرد ضجيج (noise) فحسب.