HyperAIHyperAI

Command Palette

Search for a command to run...

Personalisierte federierte Lernverfahren unter Verwendung von Hypernetworks

Aviv Shamsian Aviv Navon Ethan Fetaya Gal Chechik

Zusammenfassung

Personalized Federated Learning ist darauf ausgelegt, maschinelles Lernen für mehrere Clients zu trainieren, wobei jeder Client über eine eigene Datenverteilung verfügt. Ziel ist es, personalisierte Modelle kooperativ zu trainieren, wobei die Datenunterschiede zwischen den Clients berücksichtigt und gleichzeitig die Kommunikationskosten reduziert werden. Wir schlagen einen neuartigen Ansatz hierfür mittels Hypernetzwerke vor, der als pFedHN (personalized Federated HyperNetworks) bezeichnet wird. In diesem Ansatz wird ein zentrales Hypernetzwerk-Modell trainiert, um eine Reihe von Modellen zu generieren, wobei jeweils ein Modell für jeden Client vorgesehen ist. Diese Architektur ermöglicht eine effektive Parameterweitergabe zwischen Clients, während gleichzeitig die Fähigkeit erhalten bleibt, einzigartige und vielfältige personalisierte Modelle zu erzeugen. Darüber hinaus werden aufgrund der Tatsache, dass Hypernetzwerk-Parameter niemals übertragen werden, die Kommunikationskosten unabhängig von der Größe der trainierbaren Modelle. Wir testen pFedHN empirisch in mehreren Herausforderungen des personalisierten federierten Lernens und stellen fest, dass es gegenüber früheren Methoden übertrifft. Schließlich zeigen wir, dass pFedHN aufgrund der Informationsweitergabe über Clients hinweg eine bessere Generalisierungsfähigkeit für neue Clients aufweist, deren Verteilungen von allen während des Trainings beobachteten Clients abweichen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp