Das Modell Souping wurde im Juli 2022 von einem Forschungsteam der University of Washington, Google und weiteren Universitäten und Institutionen gemeinsam vorgeschlagen. Die zugehörigen Forschungsergebnisse wurden in der Publikation „…“ veröffentlicht.Modellsuppen: Die Mittelung der Gewichte mehrerer feinabgestimmter Modelle verbessert die Genauigkeit, ohne die Inferenzzeit zu erhöhen.", ausgewählt für die ICML 2022.

Model Souping bezeichnet die Mittelung der Gewichte mehrerer unabhängig feinabgestimmter Modelle, um deren Genauigkeit und Robustheit zu verbessern. Dieses Paradigma führt die gewichtete Mittelung ausschließlich auf den feinabgestimmten Modellen nach dem Hyperparameter-Sweeping durch, wodurch kein zusätzliches Training erforderlich ist und die Rechenkosten während der Inferenz nicht steigen. Beim Feinabstimmen großer vortrainierter Modelle wie ViT-G, das mit CLIP, ALIGN und JFT vortrainiert wurde, verbessert die Model-Souping-Methode das beste Einzelmodell, das durch Hyperparameter-Sweeping auf ImageNet erzielt wurde, signifikant. Das resultierende ViT-G-Modell erreichte eine Genauigkeit von 90,941 TP3T auf ImageNet und damit ein neues technisches Niveau. Darüber hinaus lässt sich diese Methode auf verschiedene Bildklassifizierungs- und NLP-Aufgaben erweitern und verbessert nicht nur die Generalisierungsleistung, sondern erweitert auch die Zero-Shot-Learning-Fähigkeiten für neue nachgelagerte Aufgaben.