Apprentissage fédéré personnalisé avec des processus gaussiens

L’apprentissage fédéré vise à apprendre un modèle global performant sur les appareils clients tout en limitant la communication entre clients. L’apprentissage fédéré personnalisé (PFL) étend ce cadre pour gérer l’hétérogénéité des données entre clients en apprenant des modèles personnalisés. Un défi majeur dans ce contexte réside dans la nécessité d’apprendre efficacement sur chaque client, bien que chaque client dispose de données uniques souvent limitées en quantité. Nous présentons ici pFedGP, une solution au PFL fondée sur les processus gaussiens (GPs) avec apprentissage de noyaux profonds. Les GPs sont des modèles hautement expressifs qui se comportent bien dans les régimes à faible quantité de données grâce à leur nature bayésienne. Toutefois, leur application au PFL soulève plusieurs défis. En particulier, les performances des GPs dépendent fortement de l’accès à un bon noyau, et l’apprentissage d’un noyau nécessite un ensemble d’entraînement important. Nous proposons donc d’apprendre un noyau partagé entre tous les clients, paramétré par un réseau de neurones, associé à un classificateur GP personnalisé pour chaque client. Nous étendons par ailleurs pFedGP en intégrant des points d’induction via deux méthodes novatrices : la première améliore la généralisation dans le régime à faible données, tandis que la seconde réduit le coût computationnel. Nous dérivons une borne de généralisation PAC-Bayes pour de nouveaux clients et montrons empiriquement qu’elle fournit des garanties non triviales. Des expériences étendues sur des benchmarks standards de PFL utilisant CIFAR-10, CIFAR-100 et CINIC-10, ainsi qu’un nouveau cadre d’apprentissage sous bruit d’entrée, montrent que pFedGP produit des prédictions bien calibrées tout en surpassant significativement les méthodes de référence, atteignant jusqu’à 21 % de gain en précision.