غالبًا ما تعاني النماذج المدربة في البيئات الموزعة من تدهور الأداء وعدم القدرة على التعميم، خاصةً في السيناريوهات غير الموحدة. في هذه الدراسة، نستعرض هذا السلوك من منظور هندسة دالة الخسارة وطيف القيم الذاتية لمصفوفة هيسيان، ونربط قلة قدرة النموذج على التعميم بحدة الحل. مستوحى من دراسات سابقة تربط بين حدة سطح الخسارة والفجوة في التعميم، نُظهر أن: (أ) تدريب العُقد المحلية باستخدام خوارزمية تقليل الحدة الواعية (SAM) أو نسختها التكيفية (ASAM)، و(ب) توليف الأوزان العشوائية (SWA) من جهة الخادم، يمكن أن يحسّنا بشكل كبير من قدرة التعميم في التعلم الموزع، ويساعدا في تضييق الفجوة بين النماذج الموزعة والنماذج المركزية. من خلال البحث عن معاملات في جوار يُظهر خسارة منخفضة ومتجانسة، يتجه النموذج نحو قمم مسطحة، مما يُحسن بشكل كبير من قدرته على التعميم في كل من السيناريوهات الموحدة وغير الموحدة. وأظهرت النتائج التجريبية فعالية هذه الخوارزميات المُحسّنة عبر مجموعة متنوعة من مجموعات البيانات القياسية في مجال الرؤية الحاسوبية (مثل CIFAR10/100، Landmarks-User-160k، IDDA) ومهام مختلفة (مثل التصنيف على نطاق واسع، التجزئة الدلالية، التعميم عبر المجال).