HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung der Generalisierung in federiertem Lernen durch die Suche nach flachen Minima

Debora Caldarola Barbara Caputo Marco Ciccone

Zusammenfassung

Modelle, die in federierten Umgebungen trainiert werden, leiden oft unter einer verminderten Leistungsfähigkeit und versagen bei der Generalisierung, insbesondere in heterogenen Szenarien. In dieser Arbeit untersuchen wir dieses Verhalten aus der Perspektive der Geometrie der Verlustfunktion und des Eigenwertespektrums der Hessematrix und verbinden die eingeschränkte Generalisierungsfähigkeit des Modells mit der Schärfe der Lösung. Angeregt durch frühere Studien, die die Schärfe der Verlustfläche mit der Generalisierungslücke in Verbindung bringen, zeigen wir, dass i) die lokale Training der Clients mit Sharpness-Aware Minimization (SAM) oder ihrer adaptiven Variante (ASAM) sowie ii) die Mittelung stochastischer Gewichte (SWA) auf Serverseite die Generalisierung in federierten Lernverfahren erheblich verbessern und die Lücke zu zentralisierten Modellen schließen können. Durch die Suche nach Parametern in Umgebungen mit gleichmäßig niedrigem Verlust konvergiert das Modell hin zu flacheren Minima, was seine Generalisierung sowohl in homogenen als auch in heterogenen Szenarien signifikant verbessert. Empirische Ergebnisse belegen die Wirksamkeit dieser Optimierer an einer Vielzahl von Benchmark-Datensätzen für Computer Vision (z. B. CIFAR10/100, Landmarks-User-160k, IDDA) und Aufgaben (großskalige Klassifikation, semantische Segmentierung, Domänen-Generalisierung).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp