HyperAIHyperAI

Command Palette

Search for a command to run...

AdaBest: Minimierung des Client-Drift in federated Learning durch adaptive Bias-Schätzung

Farshid Varno Marzie Saghayi Laya Rafiee Sevyeri Sharut Gupta Stan Matwin Mohammad Havaei

Zusammenfassung

Im federierten Lernen (Federated Learning, FL) arbeiten mehrere Clients oder Geräte zusammen, um ein Modell zu trainieren, ohne ihre Daten zu teilen. Die Modelle werden lokal auf jedem Client optimiert und anschließend an eine zentrale Instanz zur Aggregation übermittelt. Obwohl FL ein ansprechendes dezentrales Trainingsparadigma darstellt, kann die Heterogenität der Daten verschiedener Clients dazu führen, dass die lokale Optimierung vom globalen Ziel abweicht. Um diesen Abweichungseffekt zu schätzen und somit zu beseitigen, wurden in jüngster Zeit Varianzreduktionstechniken in die FL-Optimierung integriert. Diese Ansätze schätzen jedoch die Abweichung der Clients ungenau und gelingen letztlich nicht ausreichend, sie zu eliminieren. In dieser Arbeit stellen wir einen adaptiven Algorithmus vor, der die Abweichung über die Clients hinweg präzise schätzt. Im Vergleich zu vorherigen Ansätzen erfordert unsere Methode geringere Speicher- und Kommunikationsbandbreite sowie geringere Rechenkosten. Zudem fördert unsere vorgeschlagene Methode durch Beschränkung der Norm der Schätzungen für die Client-Abweichung Stabilität, was sie besonders für skalierbare FL-Anwendungen geeignet macht. Experimentelle Ergebnisse zeigen, dass der vorgeschlagene Algorithmus signifikant schneller konvergiert und gegenüber den Baseline-Verfahren in verschiedenen FL-Benchmarks eine höhere Genauigkeit erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
AdaBest: Minimierung des Client-Drift in federated Learning durch adaptive Bias-Schätzung | Paper | HyperAI