Personalisierte federierte Lernverfahren mit versteckten Informationen über personalisierte Vorwissen

Federated Learning (FL, zur Vereinfachung) ist eine verteilte Technik des maschinellen Lernens, die globale Server und kooperierende Clients nutzt, um datenschutzfreundliches Training globaler Modelle ohne direkten Datenaustausch zu ermöglichen. Allerdings stellt das Problem heterogener Daten – eine der zentralen Herausforderungen im FL – eine erhebliche Schwierigkeit dar, da das globale Modell auf den lokalen Daten jedes Clients oft nicht effektiv performen kann. Daher zielt personalisiertes federiertes Lernen (PFL, zur Vereinfachung) darauf ab, die Modellleistung auf den lokalen Daten so weit wie möglich zu verbessern. Bayes’sches Lernen, bei dem die Modellparameter als Zufallsvariablen mit einer a-priori-Annahme betrachtet werden, stellt aufgrund der Tendenz, dass je mehr lokale Daten das Modell nutzt, desto stärker es sich auf die lokalen Daten konzentriert (sonst auf die Priorität fokussiert), eine sinnvolle Lösung für das Problem heterogener Daten dar. Wird bayesches Lernen im Kontext von PFL eingesetzt, fungiert das globale Modell als Quelle globaler Kenntnisse, die als Prior für den lokalen Trainingsprozess dienen. In dieser Arbeit modellieren wir PFL mittels bayesischer Lernverfahren unter der Annahme einer Prior im skalierten Exponentialfamilie und schlagen daher pFedBreD, einen Rahmen zur Lösung des modellierten Problems mittels Bregman-Divergenz-Regularisierung, vor. Experimentell zeigen unsere Ergebnisse, dass unsere Methode unter der Annahme einer sphärischen Gauß-Prior und der ersten Ordnung der Mittelwertauswahl signifikant gegenüber anderen PFL-Algorithmen auf mehreren öffentlichen Benchmarks abschneidet.