SoCE(Soup Of Category Experts)는 2025년 11월 Meta와 유니버시티 칼리지 런던(UCL)의 연구팀이 제안했습니다. 관련 연구 결과는 "..."라는 논문에 발표되었습니다.수퍼 모델: 간단한 산술 연산으로 최첨단 LLM 성능을 구현하는 방법".

SoCE는 벤치마크 기반 모델 최적화 방법으로, 벤치마크 작업들을 결합하여 최적의 모델 후보를 식별하고, 균일하지 않은 가중 평균을 사용하여 전반적인 성능을 극대화합니다. 균일한 가중치를 사용하는 기존 방법과 달리, SoCE는 서로 다른 벤치마크 범주들이 모델 성능에서 낮은 상관관계를 보이는 경우가 많다는 핵심적인 관찰에 기반합니다. 따라서 SoCE는 먼저 상관관계가 낮은 각 범주 클러스터에 대한 "전문가" 모델을 식별한 다음, 균일한 가중치를 사용하는 대신 가중치를 최적화하여 이들을 통합합니다.