يمكن للشبكات العصبية المفرطة التوسيع أن تكون دقيقة بشكل كبير في المتوسط على مجموعة اختبار مستقلة ومتطابقة في التوزيع (i.i.d.)، لكنها تفشل بشكل متكرر على مجموعات غير تقليدية من البيانات (مثل تعلم ارتباطات وهمية تُظهر تأثيرًا في المتوسط ولكن لا تنطبق على هذه المجموعات). يُتيح لنا التحسين المقاوم للتوزيع (DRO) تعلُّم نماذج تقلل من الخسارة التدريبية في أسوأ الحالات ضمن مجموعة من المجموعات المحددة مسبقًا. ومع ذلك، نجد أن تطبيق DRO على المجموعات بشكل مباشر على الشبكات العصبية المفرطة التوسيع يفشل: إذ يمكن لهذه النماذج أن تُناسب البيانات التدريبية تمامًا، وبمجرد أن تنخفض الخسارة المتوسطة للتدريب إلى حد تقليلها إلى الصفر، تنخفض أيضًا الخسارة في أسوأ الحالات إلى الصفر. بدلًا من ذلك، تنشأ الأداء الضعيف في أسوأ الحالات من ضعف التعميم على بعض المجموعات. وبربط نماذج DRO على المجموعات بزيادة الت régularization — مثل عقوبة L2 أقوى من المعتاد أو التوقف المبكر — نحقق دقة أعلى بشكل كبير على المجموعات الأضعف، مع تحسن يتراوح بين 10 إلى 40 نقطة مئوية في مهمة استنتاج اللغة الطبيعية ومهام صورتين، مع الحفاظ على دقة متوسطة عالية. تشير نتائجنا إلى أن الت régularization يُعد أمرًا مهمًا للتعميم على أسوأ المجموعات في البيئة المفرطة التوسيع، حتى لو لم يكن ضروريًا للتعميم المتوسط. وأخيرًا، نقدّم خوارزمية تحسين عشوائية، مصحوبة بضمانات تقارب، لتدريب نماذج DRO بكفاءة.