تم اقتراح نموذج "حساء النموذج" بشكل مشترك في يوليو 2022 من قبل فريق بحثي من جامعة واشنطن، وجوجل، وجامعات ومؤسسات أخرى. ونُشرت نتائج البحث ذات الصلة في ورقة بحثية بعنوان "...".حساء النماذج: يؤدي حساب متوسط أوزان نماذج متعددة مضبوطة بدقة إلى تحسين الدقة دون زيادة وقت الاستدلال"، تم اختيارها للمشاركة في مؤتمر ICML 2022.

يشير مصطلح "تجميع النماذج" إلى حساب متوسط أوزان نماذج متعددة تم ضبطها بدقة بشكل مستقل لتحسين دقة النموذج وقوته. يُجري هذا النموذج عملية حساب المتوسط المرجح على النماذج المضبوطة بدقة بعد مسح المعلمات الفائقة، دون الحاجة إلى تدريب إضافي أو زيادة في التكاليف الحسابية أثناء الاستدلال. عند ضبط نماذج كبيرة مُدرَّبة مسبقًا، مثل ViT-G المُدرَّب مسبقًا باستخدام CLIP وALIGN وJFT، يُحسِّن أسلوب تجميع النماذج بشكل ملحوظ أداء أفضل نموذج فردي تم الحصول عليه من خلال مسح المعلمات الفائقة على ImageNet. حقق نموذج ViT-G الناتج دقة بلغت 90.941 TP3T على ImageNet، ليصل إلى مستوى تقني جديد. علاوة على ذلك، يمكن توسيع نطاق هذا الأسلوب ليشمل مهام تصنيف الصور ومعالجة اللغة الطبيعية المختلفة، مما لا يُحسِّن أداء التعميم خارج نطاق التوزيع فحسب، بل يُعزِّز أيضًا قدرات التعلّم الصفري في مهام لاحقة جديدة.