Personalisierte federierte Lernverfahren unter Verwendung von Hypernetworks

Personalized Federated Learning ist darauf ausgelegt, maschinelles Lernen für mehrere Clients zu trainieren, wobei jeder Client über eine eigene Datenverteilung verfügt. Ziel ist es, personalisierte Modelle kooperativ zu trainieren, wobei die Datenunterschiede zwischen den Clients berücksichtigt und gleichzeitig die Kommunikationskosten reduziert werden. Wir schlagen einen neuartigen Ansatz hierfür mittels Hypernetzwerke vor, der als pFedHN (personalized Federated HyperNetworks) bezeichnet wird. In diesem Ansatz wird ein zentrales Hypernetzwerk-Modell trainiert, um eine Reihe von Modellen zu generieren, wobei jeweils ein Modell für jeden Client vorgesehen ist. Diese Architektur ermöglicht eine effektive Parameterweitergabe zwischen Clients, während gleichzeitig die Fähigkeit erhalten bleibt, einzigartige und vielfältige personalisierte Modelle zu erzeugen. Darüber hinaus werden aufgrund der Tatsache, dass Hypernetzwerk-Parameter niemals übertragen werden, die Kommunikationskosten unabhängig von der Größe der trainierbaren Modelle. Wir testen pFedHN empirisch in mehreren Herausforderungen des personalisierten federierten Lernens und stellen fest, dass es gegenüber früheren Methoden übertrifft. Schließlich zeigen wir, dass pFedHN aufgrund der Informationsweitergabe über Clients hinweg eine bessere Generalisierungsfähigkeit für neue Clients aufweist, deren Verteilungen von allen während des Trainings beobachteten Clients abweichen.