FireAct：言語エージェントのファインチューニングに向けて

近年、言語モデル（LM）に外部ツールや環境を統合する試みが進んでおり、推論と行動が可能な言語エージェントの開発が進んできた。しかし、これらのエージェントの多くは、既存の言語モデルを用いた少量の例提示（few-shot prompting）技術に依存している。本研究では、言語エージェントを得るために言語モデルをファインチューニングするという、これまで軽視されてきたアプローチの有効性を検証し、その重要性を主張する。Google検索APIを活用した質問応答（QA）設定において、さまざまなベースLM、プロンプティング手法、ファインチューニングデータ、QAタスクを検討した結果、バックボーンとなるLMをファインチューニングすることで、言語エージェントの性能が一貫して向上することが明らかになった。例えば、GPT-4によって生成された500件のエージェント遷移データを用いてLlama2-7Bをファインチューニングした場合、HotpotQAにおける性能が77%向上した。さらに、複数のタスクおよびプロンプティング手法から得られた遷移データを用いてLMをファインチューニングする新しい手法「FireAct」を提案し、より多様なファインチューニングデータを用いることでエージェント性能がさらに向上することを示した。スケーリング効果、ロバスト性、汎化能力、効率性およびコストに関する他の知見と併せ、本研究は言語エージェントのためのLMファインチューニングに多面的な利点があることを確立し、言語エージェントのファインチューニングに関する初期の実験設計、洞察、および未解決の課題を提示した。