Venkatesh Mishra Amir Saeidi Satyam Raj Mutsumi Nakamura Jayanth Srinivasa Gaowen Liu Ali Payani Chitta Baral

要約

大規模言語モデル（LLM）の推論および計画能力の最近の進展により、動的な環境においてツールを利用できる自律型エージェントとしての可能性が示された。しかし、τ-benchのようなマルチターン対話環境では、こうしたエージェントは長期間にわたるツール呼び出しと対話の過程において、一貫性のある推論、ドメイン固有のポリシーへの準拠、正確な情報抽出に困難を抱えることが多くある。これらの失敗を捉え、緩和するため、我々は対話軌跡において頻発する一般的な誤りを包括的に手動分析した。その後、ツール呼び出しエージェントの意思決定を改善するため、入力の再定式化を実験的に検討した。最終的に、ユーザーのクエリに関連するドメインルールおよびツールの提案を付加し、それを自動的に再定式化する入力再定式化マルチエージェント（IRMA）フレームワークを提案する。実験結果から、IRMAはReAct、Function Calling、Self-Reflectionと比較して、全体的なpass^5スコアでそれぞれ16.1%、12.7%、19.1%優れていた。これらの結果は、動的な環境において、他の手法と比べてIRMAがより高い信頼性と一貫性を有していることを示している。