SoCE（Soup Of Category Experts）は、2025年11月にMetaとユニバーシティ・カレッジ・ロンドンの研究チームによって提案されました。関連する研究結果は、「…」という論文で発表されました。スーパーモデル：シンプルな算術が最先端のLLMパフォーマンスを解き放つ方法”。

SoCEは、ベンチマークタスクを組み合わせることで最適なモデル候補を特定し、非均一加重平均を用いて全体的なパフォーマンスを最大化する、ベンチマークベースのモデル最適化手法です。均一な重みを用いる従来の手法とは異なり、SoCEは重要な観察結果に基づいています。それは、異なるベンチマークカテゴリ間では、モデルのパフォーマンスの相関が低い場合が多いということです。そのため、SoCEはまず、相関の弱いカテゴリクラスタごとに「エキスパート」モデルを特定し、均一な重みではなく重みを最適化することでそれらを統合します。