Command Palette
Search for a command to run...
カテゴリー専門家の集まり
カテゴリーエキスパートのスープ(SoCE)は、Metaとユニバーシティ・カレッジ・ロンドンの研究チームによって2025年11月に提案されました。関連する研究結果は、論文「スーパーモデル:シンプルな算術が最先端のLLMパフォーマンスを解き放つ方法”。
SoCEは、ベンチマークタスクを組み合わせることで最適なモデル候補を特定し、非均一加重平均を用いて全体的なパフォーマンスを最大化する、ベンチマークベースのモデル最適化手法です。均一な重みを用いる従来の手法とは異なり、SoCEは重要な観察結果に基づいています。それは、異なるベンチマークカテゴリ間では、モデルのパフォーマンスの相関が低い場合が多いということです。そのため、SoCEはまず、相関の弱いカテゴリクラスタごとに「エキスパート」モデルを特定し、均一な重みではなく重みを最適化することでそれらを統合します。