Honglin Lin Qizhi Pei Xin Gao Zhuoshi Pan Yu Li Juntao Li Conghui He Lijun Wu

要約

推論能力は、大規模言語モデル（LLM）が複雑なタスクを解決するために不可欠であるが、信頼性の高いかつスケーラブルな推論を実現することは依然として困難である。チェーン・オブ・トゥーグ（CoT）プロンプティングは現在、主流のアプローチとなっているものの、従来の手法は生成の制御が不十分で、推論の品質が低く、推論経路の多様性に欠けるという課題を抱えている。近年の研究では、実行可能なステップに基づく推論を可能にするためにコードを活用する試みがなされてきたが、こうした手法は通常、事前に定義された数学的問題に限定され、スケーラビリティと汎用性の面で制約を受けていた。本研究では、コード駆動の拡張を活用し、高品質で検証可能かつ多様なインストラクション付きCoT推論データを自動合成する新しいフレームワーク「Caco（Code-Assisted Chain-of-ThOught）」を提案する。従来の手法とは異なり、Cacoはまず、統一されたコード形式で表現された既存の数学およびプログラミングの解答データを用いて、コードベースのCoT生成モデルをファインチューニングし、その後、多様な推論トレースを大量に生成するスケーラブルなプロセスへと拡張する。重要な点として、コード実行による自動検証とルールベースのフィルタリングを導入することで、論理的正しさと構造的多様性を保証し、その後、フィルタリングされた出力を逆方向に解析して自然言語形式のインストラクションと言語ベースのCoTに変換することで、タスクへの適応性を強化する。このクローズド・ループのプロセスにより、実行可能性が保証された完全自動化かつスケーラブルな推論データの合成が可能となる。本研究が構築したCaco-1.3Mデータセットを用いた実験では、Cacoで訓練されたモデルが数学的推論ベンチマークにおいて、既存の強力なベースラインを上回る優れた性能を示した。さらに分析から、Cacoが採用するコード基準の検証およびインストラクションの多様性が、未知のタスクへの優れた汎化性能に寄与していることが明らかになった。本研究は、人間の介入なしに自己持続的かつ信頼性の高い推論システムを構築するための新たなパラダイムを確立した。