HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage fédéré personnalisé avec des processus gaussiens

Idan Achituve Aviv Shamsian Aviv Navon Gal Chechik Ethan Fetaya

Résumé

L’apprentissage fédéré vise à apprendre un modèle global performant sur les appareils clients tout en limitant la communication entre clients. L’apprentissage fédéré personnalisé (PFL) étend ce cadre pour gérer l’hétérogénéité des données entre clients en apprenant des modèles personnalisés. Un défi majeur dans ce contexte réside dans la nécessité d’apprendre efficacement sur chaque client, bien que chaque client dispose de données uniques souvent limitées en quantité. Nous présentons ici pFedGP, une solution au PFL fondée sur les processus gaussiens (GPs) avec apprentissage de noyaux profonds. Les GPs sont des modèles hautement expressifs qui se comportent bien dans les régimes à faible quantité de données grâce à leur nature bayésienne. Toutefois, leur application au PFL soulève plusieurs défis. En particulier, les performances des GPs dépendent fortement de l’accès à un bon noyau, et l’apprentissage d’un noyau nécessite un ensemble d’entraînement important. Nous proposons donc d’apprendre un noyau partagé entre tous les clients, paramétré par un réseau de neurones, associé à un classificateur GP personnalisé pour chaque client. Nous étendons par ailleurs pFedGP en intégrant des points d’induction via deux méthodes novatrices : la première améliore la généralisation dans le régime à faible données, tandis que la seconde réduit le coût computationnel. Nous dérivons une borne de généralisation PAC-Bayes pour de nouveaux clients et montrons empiriquement qu’elle fournit des garanties non triviales. Des expériences étendues sur des benchmarks standards de PFL utilisant CIFAR-10, CIFAR-100 et CINIC-10, ainsi qu’un nouveau cadre d’apprentissage sous bruit d’entrée, montrent que pFedGP produit des prédictions bien calibrées tout en surpassant significativement les méthodes de référence, atteignant jusqu’à 21 % de gain en précision.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp