Les grands modèles linguistiques (LLM) ont fait preuve de capacités remarquables dans divers domaines, mais leur entraînement reste coûteux en ressources et en temps, nécessitant une puissance de calcul massive ainsi qu’une orchestration soigneuse des procédés d’entraînement. La technique de « model souping » — c’est-à-dire la moyenne des poids issus de plusieurs modèles de même architecture — s’est imposée comme une méthode prometteuse en pré- et post-entraînement, capable d’améliorer les performances sans nécessiter de réentraînement coûteux. Dans cet article, nous proposons SoCE (Soup Of Category Experts), une approche fondée sur des principes rigoureux pour le model souping, qui utilise la composition de benchmarks afin d’identifier les meilleurs candidats modèles, et applique une moyenne pondérée non uniforme afin de maximiser les performances. Contrairement aux approches antérieures reposant sur une moyenne uniforme, notre méthode exploite l’observation selon laquelle les catégories de benchmarks présentent souvent une faible corrélation interne en termes de performances des modèles. SoCE identifie ainsi des « modèles experts » pour chaque cluster de catégories faiblement corrélées, puis les combine par une moyenne pondérée optimisée, plutôt que par des poids uniformes. Nous démontrons que la méthode proposée améliore significativement les performances et la robustesse dans plusieurs domaines, notamment les capacités multilingues, l’appel d’outils et les raisonnements mathématiques, atteignant des résultats de pointe sur le leaderboard Berkeley Function Calling.