Model Souping 是由华盛顿大学、谷歌等高校和机构的研究团队于 2022 年 7 月联合提出的，相关研究成果发表于论文「Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time」，入选 ICML 2022 。

Model Souping 是指将多个独立微调的模型权重进行平均，进而提高模型准确性和鲁棒性。该范式仅在超参数扫除后的微调模型基础上进行加权平均，无需额外训练，也不会增加推理时的计算成本。在对 CLIP 、 ALIGN 及 JFT 预训练的 ViT-G 等大型预训练模型进行微调时，Model Souping 方法相比在 ImageNet 上通过超参数扫描得到的最佳单一模型有显著提升。最终得到的 ViT-G 模型在 ImageNet 上取得了 90.94% 的准确率，达到了新的技术水平。此外，该方法还可扩展至多种图像分类与自然语言处理任务，不仅提升了分布外泛化性能，而且在新下游任务中增强了零样本学习能力。