Jiaxi Li Yucheng Shi Jin Lu Ninghao Liu

要約

大規模言語モデル（LLM）におけるテスト時推論において、ツリー探索は、Thought-of-Thoughtやモンテカルロツリーサーチ（MCTS）など、複数の推論経路を探索する手法によって代表されるフレームワークとして定着している。しかし、中間的な推論ステップの品質を即座かつ信頼性の高い定量的評価するにはまだ困難があり、広範な経路探索は計算コストが高くなるという課題が残っている。これを解決するために、本研究では情報理論的原理に基づいた推論を導く新しいフレームワーク「相互情報量ツリー探索（Mutual Information Tree Search: MITS）」を提案する。MITSは、ポイントワイズ相互情報量（PMI）に基づく効果的なスコア関数を導入し、高価な先読みシミュレーションを用いずに、ビームサーチを用いた推論経路の段階的評価および探索木の拡張を実現する。これにより、計算効率を維持しつつ、優れた推論性能を達成している。さらに、不確実な推論ステップに計算リソースを適応的に割り当てるエントロピーに基づく動的サンプリング戦略により、フレームワークの補完がなされている。最終予測では、PMIスコアと予測の一致度（コンセンサス）を組み合わせた重み付き投票方式を採用している。多様な推論ベンチマークにおける包括的な実験を通じて、MITSはベースライン手法を一貫して上回り、LLMの推論に向けた原理的かつ効率的なフレームワークとしての有効性を実証した。