Apprentissage fédéré personnalisé utilisant des hyperréseaux

L'apprentissage fédéré personnalisé vise à entraîner des modèles d'apprentissage automatique pour plusieurs clients, chacun disposant d'une distribution de données propre. L'objectif est d'entraîner des modèles personnalisés de manière collaborative, tout en tenant compte des disparités des données entre clients et en réduisant les coûts de communication. Nous proposons une nouvelle approche à ce problème basée sur les hyperréseaux, appelée pFedHN (Personalized Federated HyperNetworks). Dans cette approche, un modèle central d'hyperréseau est entraîné pour générer un ensemble de modèles, un modèle par client. Cette architecture permet un partage efficace des paramètres entre clients tout en préservant la capacité à produire des modèles personnels uniques et diversifiés. En outre, comme les paramètres de l'hyperréseau ne sont jamais transmis, cette méthode découple le coût de communication de la taille du modèle entraînable. Nous évaluons empiriquement pFedHN sur plusieurs défis d'apprentissage fédéré personnalisé et constatons qu'elle surpasse les méthodes antérieures. Enfin, puisque les hyperréseaux partagent de l'information entre clients, nous démontrons que pFedHN se généralise mieux à de nouveaux clients dont les distributions diffèrent de celles observées pendant l'entraînement.