Verbindung eines verlustarmen Unterraums für personalisierte federierte Lernverfahren

Aufgrund des Problems der statistischen Heterogenität zwischen den Clients ist die Anwendung personalisierter Federated-Learning-Methoden zu einer essenziellen Voraussetzung für den erfolgreichen Einsatz von federated learning-basierten Diensten geworden. Unter den verschiedenen Ansätzen zur Personalisierung wird eine Methode basierend auf Modell-Mischungen bevorzugt, da sie es jedem Client ermöglicht, über den Prozess des Federated Learning ein eigenes personalisiertes Modell zu erzeugen. Diese Herangehensweise erfordert in der Regel ein lokales Modell und ein federiertes Modell, ist jedoch entweder auf einen partiellen Parameteraustausch beschränkt oder erfordert zusätzliche lokale Aktualisierungen – beide Ansätze sind für neue Clients wirkungslos und belasten zudem die Rechenkapazität der Clients erheblich. Da kürzlich nachgewiesen wurde, dass zwischen zwei oder mehr unabhängigen tiefen neuronalen Netzen ein zusammenhängender Unterraum existiert, der diverse Lösungen mit niedrigem Verlust enthält, kombinieren wir diese interessante Eigenschaft mit der auf Modell-Mischungen basierenden personalisierten Federated-Learning-Methode, um die Leistungsfähigkeit der Personalisierung zu verbessern. Wir stellen SuPerFed vor, eine personalisierte Federated-Learning-Methode, die eine explizite Verbindung zwischen den Optima des lokalen und des federierten Modells im Gewichtsraum herstellt, um sich gegenseitig zu stärken. Durch umfangreiche Experimente auf mehreren Standard-Datensätzen zeigen wir, dass unsere Methode sowohl bei der Personalisierungsleistung als auch bei der Robustheit gegenüber problematischen Szenarien, die in realen Diensten auftreten können, konsistente Verbesserungen erzielt.