تُدرب الشبكات العصبية العميقة عادةً عن طريق تحسين دالة خسارة باستخدام نسخة من التدرج العشوائي المتناوب (SGD)، مع معدل تعلم متراجع، حتى الوصول إلى التقارب. نوضح أن متوسط بسيط للنقاط المتعددة على مسار التدرج العشوائي المتناوب، بمعدل تعلم دوري أو ثابت، يؤدي إلى تعميم أفضل من التدريب التقليدي. كما نوضح أن هذه العملية التي تُعرف بـ "متوسط الأوزان العشوائية" (Stochastic Weight Averaging - SWA) تجد حلولًا أكثر استواءً من التدرج العشوائي المتناوب، وتقرب من أسلوب التجميع الهندسي السريع (Fast Geometric Ensembling - FGE) الحديث باستخدام نموذج واحد فقط. باستخدام SWA، حققنا تحسنًا ملحوظًا في دقة الاختبار مقارنة بالتدريب التقليدي باستخدام SGD على مجموعة متنوعة من شبكات البقايا الحديثة وأشباه الهرمية (PyramidNets) والكثيفة (DenseNets) وشبكات Shake-Shake على بيانات CIFAR-10 وCIFAR-100 وImageNet. باختصار، فإن SWA سهلة التنفيذ للغاية، وتُحسن التعميم، ولها تقريبًا لا يوجد أي كلفة حسابية إضافية.