MohammadHossein Bateni Vincent Cohen-Addad Yuzhou Gu Silvio Lattanzi Simon Meierhans Christopher Mohri

要約
大規模言語モデル(LLM)は、複雑な推論タスクを解くために極めて有効であることが実証されている。驚くべきことに、以前に生成された解に対して反復処理を施すことで、その能力をしばしば向上させることができる。このような文脈において、複数の解を生成・統合するための推論計画は、確率的オラクルを用いた推論のアルゴリズムと捉えることができる。本研究では、こうした推論アルゴリズムを分析するための理論的枠組みを提示する。この枠組みは、反復的改善や解の集約に広く用いられる手法の背後にある原理を形式化しており、より強力な推論手法の設計に向けた基盤を提供する。モデルの理解に向けた従来のアプローチがアーキテクチャの詳細に依存するのに対し、本研究のモデルは実験的証拠に基づいている。その結果、現在および将来のさまざまな推論オラクルに一般化可能な包括的な視点を提供するものとなる。