Verbesserung der Generalisierung in federiertem Lernen durch die Suche nach flachen Minima

Modelle, die in federierten Umgebungen trainiert werden, leiden oft unter einer verminderten Leistungsfähigkeit und versagen bei der Generalisierung, insbesondere in heterogenen Szenarien. In dieser Arbeit untersuchen wir dieses Verhalten aus der Perspektive der Geometrie der Verlustfunktion und des Eigenwertespektrums der Hessematrix und verbinden die eingeschränkte Generalisierungsfähigkeit des Modells mit der Schärfe der Lösung. Angeregt durch frühere Studien, die die Schärfe der Verlustfläche mit der Generalisierungslücke in Verbindung bringen, zeigen wir, dass i) die lokale Training der Clients mit Sharpness-Aware Minimization (SAM) oder ihrer adaptiven Variante (ASAM) sowie ii) die Mittelung stochastischer Gewichte (SWA) auf Serverseite die Generalisierung in federierten Lernverfahren erheblich verbessern und die Lücke zu zentralisierten Modellen schließen können. Durch die Suche nach Parametern in Umgebungen mit gleichmäßig niedrigem Verlust konvergiert das Modell hin zu flacheren Minima, was seine Generalisierung sowohl in homogenen als auch in heterogenen Szenarien signifikant verbessert. Empirische Ergebnisse belegen die Wirksamkeit dieser Optimierer an einer Vielzahl von Benchmark-Datensätzen für Computer Vision (z. B. CIFAR10/100, Landmarks-User-160k, IDDA) und Aufgaben (großskalige Klassifikation, semantische Segmentierung, Domänen-Generalisierung).