Soheil Zibakhsh Mohammad Samragh Kumari Nishu Lauren Hannah Arnav Kundu Minsik Cho

要約

大規模言語モデル（LLM）の生成品質は、通常、推論時におけるシーケンスレベルのスケーリング手法（例：チェーン・オブ・シンキング）を用いることで向上する。本研究では、トークンレベルでの予測品質を向上させる補完的な枠組みとして「ハイパーパラレルスケーリング」を提案する。この手法は、モデルから単一のトークンに対して複数の出力候補を計算・集約することで、より高精度な出力を得る。本概念をMixture-of-Experts（MoE）モデルに実装し、これを「エキスパートのロスター（RoE）」と呼ぶ。RoEは訓練を不要とする推論アルゴリズムであり、単一のMoEを動的なMoEのアンサンブルに変換する。RoEはエキスパートルーティング機構に制御された確率性を導入し、各トークンに対して多様なエキスパートをサンプリングし、それらの出力を集約することで、より正確な最終出力を得られる。計算コストの問題を克服するため、効率的なバッチ処理戦略と、計算およびメモリオーバーヘッドを最小限に抑える専用のKVキャッシュ機構を導入した。例えば、RoEを用いることで、7BパラメータのMoEモデルが、10.5BパラメータのMoEモデルと同等の性能を発揮しつつ、推論時の計算量を30%削減できる。これらの性能向上は、モデルパラメータのファインチューニングを一切行わずに達成されている。