AdaBest : Minimisation du décalage des clients en apprentissage fédéré par estimation adaptative des biais

Dans l’apprentissage fédéré (FL), un ensemble de clients ou d’appareils collaborent pour entraîner un modèle sans partager leurs données. Les modèles sont optimisés localement sur chaque client, puis transmis à un hub central pour agrégation. Bien que le FL constitue un paradigme d’entraînement décentralisé attrayant, l’hétérogénéité des données provenant de différents clients peut entraîner un écart entre l’optimisation locale et l’objectif global. Afin d’estimer et de corriger cet écart, des techniques de réduction de variance ont récemment été intégrées à l’optimisation en FL. Toutefois, ces approches estiment de manière inexacte l’écart des clients et échouent finalement à le supprimer efficacement. Dans ce travail, nous proposons un algorithme adaptatif qui estime avec précision l’écart entre les clients. Par rapport aux méthodes antérieures, notre approche nécessite moins de mémoire, une bande passante de communication réduite et des coûts de calcul plus faibles. En outre, notre méthode favorise la stabilité en contraindre la norme des estimations de l’écart client, ce qui la rend plus adaptée à l’échelle. Les résultats expérimentaux montrent que l’algorithme proposé converge significativement plus rapidement et atteint une précision supérieure aux méthodes de référence sur divers benchmarks de FL.