Le concept de « soupe d'experts de catégorie » (SoCE) a été proposé par une équipe de recherche de Meta et de l'University College London en novembre 2025, et les résultats de recherche pertinents ont été publiés dans l'article «Modèle de synthèse : Comment des calculs arithmétiques simples permettent d'atteindre des performances de pointe en LLM".

SoCE est une méthode d'optimisation de modèles basée sur des benchmarks. Elle identifie les modèles candidats optimaux en combinant des tâches de benchmark et utilise une moyenne pondérée non uniforme pour maximiser les performances globales. Contrairement aux méthodes traditionnelles qui utilisent des pondérations uniformes, SoCE repose sur une observation clé : les performances des modèles varient souvent selon les catégories de benchmarks. Par conséquent, SoCE identifie d'abord des modèles « experts » pour chaque groupe de catégories faiblement corrélées, puis les intègre en optimisant les pondérations plutôt que d'utiliser des pondérations uniformes.