HyperAIHyperAI

Command Palette

Search for a command to run...

Personalisierte federierte Lernverfahren mit versteckten Informationen über personalisierte Vorwissen

Mingjia Shi Yuhao Zhou Qing Ye Jiancheng Lv

Zusammenfassung

Federated Learning (FL, zur Vereinfachung) ist eine verteilte Technik des maschinellen Lernens, die globale Server und kooperierende Clients nutzt, um datenschutzfreundliches Training globaler Modelle ohne direkten Datenaustausch zu ermöglichen. Allerdings stellt das Problem heterogener Daten – eine der zentralen Herausforderungen im FL – eine erhebliche Schwierigkeit dar, da das globale Modell auf den lokalen Daten jedes Clients oft nicht effektiv performen kann. Daher zielt personalisiertes federiertes Lernen (PFL, zur Vereinfachung) darauf ab, die Modellleistung auf den lokalen Daten so weit wie möglich zu verbessern. Bayes’sches Lernen, bei dem die Modellparameter als Zufallsvariablen mit einer a-priori-Annahme betrachtet werden, stellt aufgrund der Tendenz, dass je mehr lokale Daten das Modell nutzt, desto stärker es sich auf die lokalen Daten konzentriert (sonst auf die Priorität fokussiert), eine sinnvolle Lösung für das Problem heterogener Daten dar. Wird bayesches Lernen im Kontext von PFL eingesetzt, fungiert das globale Modell als Quelle globaler Kenntnisse, die als Prior für den lokalen Trainingsprozess dienen. In dieser Arbeit modellieren wir PFL mittels bayesischer Lernverfahren unter der Annahme einer Prior im skalierten Exponentialfamilie und schlagen daher pFedBreD, einen Rahmen zur Lösung des modellierten Problems mittels Bregman-Divergenz-Regularisierung, vor. Experimentell zeigen unsere Ergebnisse, dass unsere Methode unter der Annahme einer sphärischen Gauß-Prior und der ersten Ordnung der Mittelwertauswahl signifikant gegenüber anderen PFL-Algorithmen auf mehreren öffentlichen Benchmarks abschneidet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp