Command Palette
Search for a command to run...
AutoHarness: LLM エージェントの性能向上に向けたコードハarnessの自動合成手法
AutoHarness: LLM エージェントの性能向上に向けたコードハarnessの自動合成手法
Xinghua Lou Miguel Lázaro-Gredilla Antoine Dedieu Carter Wendelken Wolfgang Lehrach Kevin P. Murphy
概要
過去数年間にわたり言語モデルは著しい進展を遂げてきましたが、これらをエージェントとして利用する場合、モデルはしばしば、与えられた状態において最適であるだけでなく、外部環境によって厳格に禁止されている動作を実行しようとする傾向が見られます。例えば、直近のKaggle GameArenaにおけるチェス競技では、Gemini-2.5-Flashの敗北の78%が違法な着手に起因していました。こうした失敗を防ぐため、従来は人手でLLMの周囲に「ハナース(制約コード)」を記述するケースが多かったです。本研究では、環境(ゲーム)からのフィードバックを基に、限られた回数の反復的なコード改良を行うことで、Gemini-2.5-Flashが自動的にそのようなコードハナースを合成できることを実証します。得られたハナースは、145種類のTextArenaゲーム(1プレイヤーおよび2プレイヤーの両方)において違法な着手を完全に防止し、より小規模なGemini-2.5-Flashモデルが、Gemini-2.5-Proなどの大規模モデルを上回る性能を発揮することを可能にしました。さらに、本技術を限界まで適用したところ、Gemini-2.5-Flashが方策(policy)全体をコードとして生成できるようになり、意思決定時点でLLMを利用する必要がなくなりました。その結果、生成されたコードベースの方策は、16種類のTextArena 1プレイヤーゲームにおいて、Gemini-2.5-ProおよびGPT-5.2-Highよりも高い平均報酬を達成しました。本研究の結果は、小規模モデルを用いてカスタムなコードハナース(あるいは方策全体)を合成することで、はるかに大規模なモデルを上回る性能を達成でき、かつコスト効率も優れていることを示しています。