Apprentissage fédéré personnalisé avec informations cachées sur les priorités personnalisées

L’apprentissage fédéré (FL, pour simplifier) est une technique d’apprentissage automatique distribué qui utilise des serveurs globaux et des clients collaboratifs pour réaliser l’entraînement d’un modèle global préservant la confidentialité, sans échange direct de données. Toutefois, le problème des données hétérogènes, l’un des principaux défis du FL, rend difficile l’efficacité du modèle global sur les données locales de chaque client. Ainsi, l’apprentissage fédéré personnalisé (PFL, pour simplifier) vise à optimiser au maximum les performances du modèle sur les données locales. L’apprentissage bayésien, dans lequel les paramètres du modèle sont considérés comme des variables aléatoires dotées d’une hypothèse a priori, constitue une solution envisageable au problème des données hétérogènes, en raison de la tendance selon laquelle plus le modèle dispose de données locales, plus il se concentre sur celles-ci, sinon il privilégie l’a priori. Lorsqu’on applique l’apprentissage bayésien au PFL, le modèle global fournit des connaissances globales sous forme d’a priori au processus d’entraînement local. Dans cet article, nous utilisons l’apprentissage bayésien pour modéliser le PFL en supposant un a priori appartenant à la famille exponentielle échelonnée, et proposons ainsi pFedBreD, un cadre permettant de résoudre le problème modélisé par régularisation à l’aide de divergence de Bregman. Expérimentalement, nos résultats montrent que, sous l’hypothèse a priori gaussienne sphérique et avec la stratégie d’ordre un pour la sélection de la moyenne, notre approche surpasse significativement d’autres algorithmes de PFL sur plusieurs benchmarks publics.