Connexion d’un sous-espace à faible perte pour l’apprentissage fédéré personnalisé

En raison du phénomène de hétérogénéité statistique entre les clients, l’adoption d’une méthode d’apprentissage fédéré personnalisé est devenue une nécessité pour le déploiement réussi des services fondés sur l’apprentissage fédéré. Parmi les différentes approches de personnalisation, la méthode basée sur le mélange de modèles est particulièrement privilégiée, car elle permet à chaque client de disposer d’un modèle personnalisé issu du processus d’apprentissage fédéré. Cette approche repose généralement sur la combinaison d’un modèle local et d’un modèle fédéré, mais elle est soit limitée à un échange partiel de paramètres, soit exige des mises à jour locales supplémentaires, deux contraintes qui sont inutiles pour les nouveaux clients et pénibles en termes de charge computationnelle pour les clients existants. Toutefois, la découverte récente d’un sous-espace connecté contenant des solutions à faible perte entre deux ou plusieurs réseaux de neurones profonds indépendants a ouvert une voie prometteuse. Nous avons exploité cette propriété remarquable en l’intégrant à la méthode de personnalisation basée sur le mélange de modèles dans un cadre d’apprentissage fédéré. Nous proposons SuPerFed, une méthode d’apprentissage fédéré personnalisé qui établit une connexion explicite entre les optima des modèles local et fédéré dans l’espace des poids, afin de renforcer mutuellement leurs performances. À travers des expérimentations approfondies sur plusieurs jeux de données standards, nous avons démontré que notre méthode permet d’obtenir des gains constants tant en termes de performance de personnalisation qu’en robustesse face à des scénarios problématiques susceptibles de survenir dans des services réels.