モデルスープは、2022年7月にワシントン大学、Google、その他の大学や研究機関の研究チームによって共同で提案されました。関連する研究成果は論文「…」に掲載されています。モデルスープ：複数のファインチューニング済みモデルの重みを平均化することで、推論時間を増加させることなく精度を向上させるICML 2022に選出されました。

モデルスープとは、複数の独立してファインチューニングされたモデルの重みを平均化することで、モデルの精度と堅牢性を向上させる手法です。この手法では、ハイパーパラメータスイープ後にファインチューニングされたモデルに対してのみ重み付き平均化を実行するため、追加のトレーニングは不要で、推論時の計算コストも増加しません。CLIP、ALIGN、JFTで事前学習されたViT-Gなどの大規模な事前学習済みモデルをファインチューニングする場合、モデルスープ手法はImageNet上でハイパーパラメータスイープによって得られた最良の単一モデルを大幅に改善します。結果として得られたViT-GモデルはImageNet上で90.941 TP3Tの精度を達成し、新たな技術レベルに到達しました。さらに、この手法は様々な画像分類や自然言語処理タスクに拡張でき、分布外汎化性能の向上だけでなく、新たな下流タスクにおけるゼロショット学習能力の向上にもつながります。