대규모 언어 모델(Large Language Models, LLMs)은 다양한 분야에서 놀라운 성능을 보여주고 있으나, 여전히 막대한 계산 자원과 시간이 소요되는 훈련 과정을 필요로 하며, 훈련 절차의 정교한 조율 또한 요구된다. 동일한 아키텍처를 가진 다수의 모델 가중치를 평균화하는 '모델 수프(Model Souping)' 기법은 재훈련에 드는 비용 없이 성능을 향상시킬 수 있는 유망한 사전 및 사후 훈련 기법으로 부상하고 있다. 본 논문에서는 벤치마크 구성 기반의 체계적인 접근 방식을 도입한 '분야 전문가의 수프(Soup Of Category Experts, SoCE)'를 제안한다. SoCE는 최적의 모델 후보를 식별하기 위해 벤치마크의 구성 특성을 활용하고, 성능을 극대화하기 위해 비균일 가중 평균을 적용한다. 기존의 균일 가중 평균 방식과 달리, 본 연구는 벤치마크 분야 간 모델 성능 간 상관관계가 낮은 경향이 있음을 관찰하고, 이를 바탕으로 서로 약한 상관관계를 보이는 분야 군집에 대해 각각의 '전문가 모델(Expert Models)'을 식별한 후, 균일한 가중치가 아닌 최적화된 가중 평균을 통해 이를 결합한다. 실험을 통해 제안한 방법이 다국어 처리, 도구 호출, 수학 문제 해결 등 다양한 영역에서 성능과 견고성(로버스트성)을 향상시킴을 입증하였으며, 버클리 도구 호출 리더보드(Berkeley Function Calling Leaderboard)에서 최신 기준(SOTA, State-of-the-Art) 성능을 달성하였다.