L’apprentissage fédéré (FL) offre un cadre prometteur pour le machine learning collaboratif et préservant la vie privée à travers des sources de données distribuées. Toutefois, les coûts de communication importants associés au FL posent un défi majeur quant à son efficacité. En effet, à chaque tour de communication, ces coûts évoluent linéairement avec la dimension du modèle, ce qui constitue un obstacle significatif, particulièrement dans les scénarios impliquant des modèles de grande taille. Malgré diverses stratégies visant à améliorer l’efficacité en communication, le coût inhérentement dépendant de la dimension demeure un goulot d’étranglement majeur pour les implémentations actuelles du FL. Ce papier propose un nouvel algorithme de communication sans dépendance à la dimension — DeComFL — qui exploite des techniques d’optimisation du zéro ordre et réduit le coût de communication de $\mathscr{O}(d)$O(d) à $\mathscr{O}(1)$O(1) en ne transmettant qu’un nombre constant de valeurs scalaires entre les clients et le serveur à chaque tour, indépendamment de la dimension $d$d des paramètres du modèle. Théoriquement, pour des fonctions non convexes, nous démontrons que notre algorithme atteint des taux d’optimisation de pointe, présentant une accélération linéaire en fonction du nombre de clients et du nombre d’étapes locales sous des hypothèses standards. Sous une hypothèse supplémentaire de faible rang effectif, nous pouvons également montrer que le taux de convergence est indépendant de la dimension du modèle $d$d. Des évaluations expérimentales, couvrant à la fois l’entraînement classique en deep learning et le fine-tuning de grands modèles linguistiques, démontrent une réduction significative de la surcharge de communication. Notamment, DeComFL parvient à ce résultat en ne transmettant qu’environ 1 Mo de données au total entre le serveur et un client pour finetuner un modèle comptant des milliards de paramètres. Notre code est disponible à l’adresse https://github.com/ZidongLiu/DeComFL.