Le modèle Souping a été proposé conjointement en juillet 2022 par une équipe de recherche de l'Université de Washington, de Google et d'autres universités et institutions. Les résultats de cette recherche ont été publiés dans l'article « ... ».Modèles composites : la moyenne des poids de plusieurs modèles affinés améliore la précision sans augmenter le temps d’inférence.", sélectionné pour ICML 2022.

Le Model Souping consiste à moyenner les poids de plusieurs modèles affinés indépendamment afin d'améliorer la précision et la robustesse du modèle. Ce paradigme effectue une moyenne pondérée uniquement sur les modèles affinés après l'optimisation des hyperparamètres, sans nécessiter d'entraînement supplémentaire ni augmenter les coûts de calcul lors de l'inférence. Lors de l'affinage de grands modèles pré-entraînés tels que ViT-G pré-entraîné avec CLIP, ALIGN et JFT, la méthode Model Souping améliore significativement le meilleur modèle individuel obtenu par optimisation des hyperparamètres sur ImageNet. Le modèle ViT-G résultant a atteint une précision de 90,941 TP3T sur ImageNet, établissant ainsi une nouvelle référence technique. De plus, cette méthode peut être étendue à diverses tâches de classification d'images et de traitement automatique du langage naturel, améliorant non seulement les performances de généralisation hors distribution, mais aussi les capacités d'apprentissage zéro-shot dans de nouvelles tâches en aval.