AdaBest: Minimierung des Client-Drift in federated Learning durch adaptive Bias-Schätzung

Im federierten Lernen (Federated Learning, FL) arbeiten mehrere Clients oder Geräte zusammen, um ein Modell zu trainieren, ohne ihre Daten zu teilen. Die Modelle werden lokal auf jedem Client optimiert und anschließend an eine zentrale Instanz zur Aggregation übermittelt. Obwohl FL ein ansprechendes dezentrales Trainingsparadigma darstellt, kann die Heterogenität der Daten verschiedener Clients dazu führen, dass die lokale Optimierung vom globalen Ziel abweicht. Um diesen Abweichungseffekt zu schätzen und somit zu beseitigen, wurden in jüngster Zeit Varianzreduktionstechniken in die FL-Optimierung integriert. Diese Ansätze schätzen jedoch die Abweichung der Clients ungenau und gelingen letztlich nicht ausreichend, sie zu eliminieren. In dieser Arbeit stellen wir einen adaptiven Algorithmus vor, der die Abweichung über die Clients hinweg präzise schätzt. Im Vergleich zu vorherigen Ansätzen erfordert unsere Methode geringere Speicher- und Kommunikationsbandbreite sowie geringere Rechenkosten. Zudem fördert unsere vorgeschlagene Methode durch Beschränkung der Norm der Schätzungen für die Client-Abweichung Stabilität, was sie besonders für skalierbare FL-Anwendungen geeignet macht. Experimentelle Ergebnisse zeigen, dass der vorgeschlagene Algorithmus signifikant schneller konvergiert und gegenüber den Baseline-Verfahren in verschiedenen FL-Benchmarks eine höhere Genauigkeit erreicht.