Personalisierte federierte Lernverfahren mit Gaussian Processes

Federated Learning zielt darauf ab, ein globales Modell zu erlernen, das auf den Client-Geräten gut funktioniert, wobei der Austausch zwischen Clients stark eingeschränkt ist. Personalisiertes Federated Learning (PFL) erweitert diesen Ansatz, um die Datenheterogenität zwischen Clients zu bewältigen, indem individuelle Modelle gelernt werden. Eine zentrale Herausforderung in diesem Kontext besteht darin, effektiv über alle Clients hinweg zu lernen, obwohl jeder Client über einzigartige, oft begrenzte Datensätze verfügt. In dieser Arbeit präsentieren wir pFedGP, eine Lösung für PFL, die auf Gaussischen Prozessen (GPs) mit Deep Kernel Learning basiert. GPs sind hochausdrucksstarke Modelle, die aufgrund ihrer bayesschen Natur besonders gut im Niedrig-Daten-Regime funktionieren. Die Anwendung von GPs im Kontext von PFL wirft jedoch mehrere Herausforderungen auf. Insbesondere hängt die Leistung von GPs stark von der Verfügbarkeit einer geeigneten Kernel-Funktion ab, und das Lernen eines Kernels erfordert eine große Trainingsmenge. Daher schlagen wir vor, eine gemeinsame Kernel-Funktion über alle Clients zu lernen, die durch ein neuronales Netzwerk parametrisiert wird, wobei jeder Client ein eigenes, personalisiertes GP-Klassifikationsmodell erhält. Wir erweitern pFedGP weiterhin um Induzierpunkte mittels zweier neuer Methoden: Die erste verbessert die Generalisierung im Niedrig-Daten-Regime, während die zweite die Rechenkosten reduziert. Wir leiten eine PAC-Bayes-Verallgemeinerungsgrenze für neue Clients ab und zeigen empirisch, dass diese nicht-triviale Garantien liefert. Umfassende Experimente auf etablierten PFL-Benchmarks mit CIFAR-10, CIFAR-100 und CINIC-10 sowie auf einer neuen Testumgebung unter Eingabestörungen zeigen, dass pFedGP gut kalibrierte Vorhersagen erzielt und gegenüber Baseline-Methoden erheblich übertrifft – mit bis zu 21 % höherer Genauigkeit.