Zhichao Wang Dongyang Ma Xinting Huang Deng Cai Tian Lan Jiahao Xu Haitao Mi Xiaoying Tang Yan Wang

要約

「エンド・トゥ・エンド」という表現は、大規模言語モデル（LLM）に対して誤解を招くものである。実際の運用では、微分不可能なデコードプロセスに依存しており、温度やtop-pといったハイパーパラメータの手動調整が煩雑で、効率的ではない。本研究では、自らのデコード戦略を学習・制御できる新しいアーキテクチャ「AutoDeco」を提案する。従来のTransformerに軽量なアーキテクチャを追加し、各ステップで次トークンのロジットと並行して、文脈に応じた動的な温度値およびtop-p値を予測する。このアプローチにより、デコードプロセスはパラメトリックかつトークン単位のものに変化し、1回の順伝播（forward pass）内でモデルが自身のサンプリング戦略を自己調整可能となる。8つのベンチマークを用いた広範な実験の結果、AutoDecoは従来のデフォルトのデコード戦略を顕著に上回るだけでなく、いわゆる「テストセットの穴を突く（hacking the test set）」手法で得られるオラクルチューニングベースライン（静的アプローチの実用的上限）と同等の性能を達成することを示した。特に重要なのは、自然言語によるデコード制御という顕在化した能力の発見である。モデルは「ランダム性を低くして生成」など、自然言語の指示を解釈し、トークン単位で予測された温度値やtop-p値を動的に調整する能力を学習する。これにより、制御可能でインタラクティブなLLMデコードの新しいパラダイムが開かれた。