Zhi Zhou Yuhao Tan Zenan Li Yuan Yao Lan-Zhe Guo Yu-Feng Li Xiaoxing Ma

要約

推論時スケーリング（test-time scaling）は、計算リソースを追加することで大規模言語モデル（LLM）の推論性能を向上させようとするアプローチである。この分野で広く用いられている手法の一つが、サンプリングに基づく推論時スケーリング法であり、入力に対して推論中に複数の推論経路を生成することで、推論能力を強化する。しかし、実用的な成功は見られても、その理論的基盤は依然として十分に解明されていない。本論文では、信頼度推定の観点から出発する、初めての理論的枠組みを提示し、サンプリングに基づく推論時スケーリング法の分析を可能にする。この枠組みを基に、2つの主要なアプローチである「自己一貫性（self-consistency）」と「Perplexity（ perplexity）」を分析し、それぞれの主要な限界を明らかにする。具体的には、自己一貫性は高い推定誤差を抱え、Perplexityは大きなモデル誤差を示し、推定誤差の収束性が劣化する可能性がある。これらの限界を克服するため、本研究では、理論的知見を基にしたハイブリッド手法「RPC（Perplexity Consistency and Reasoning Pruning）」を提案する。RPCは、2つの主要な構成要素で構成される：(1) Perplexity一貫性、および (2) 推論経路のプルーニング。Perplexity一貫性は、自己一貫性とPerplexityの利点を統合し、推定誤差の収束速度を線形から指数関数的へと向上させつつ、モデル誤差を維持する。一方、推論経路のプルーニングは、低確率の推論経路を削除することで、推定誤差の劣化を防止する。理論的分析と7つのベンチマークデータセットにおける実証的評価の両方から、RPCが推論誤差の低減に大きな可能性を有していることが示された。特に、RPCは自己一貫性と同等の推論性能を達成しつつ、信頼度の信頼性を向上させるとともに、サンプリングコストを50%削減する。コードおよび関連リソースは、https://wnjxyk.github.io/RPC で公開されている。