多ターンのText-to-SQLにおけるLLMの評価と強化：複数の質問タイプを用いて

最近の大規模言語モデル（LLMs）の進歩により、テキストからSQLへの変換システムが大幅に進化しました。しかし、多くのLLMベースの手法はSQL生成に焦点を絞りすぎており、実世界の会話型クエリの複雑さを軽視しています。この見落としは、特にSQLで直接対応できない曖昧な質問に対して信頼性の低い回答につながる可能性があります。このようなギャップを埋めるために、私たちはMMSQLという包括的なテストスイートを提案します。MMSQLは、多様な質問タイプや複数ターンのQ&Aインタラクションをシミュレーションすることで、LLMの質問分類とSQL生成能力を評価するためのものです。このテストスイートを使用して、オープンソースとクローズドソースの両方の人気のあるLLMの性能を評価し、そのようなシナリオにおける性能に影響を与える主要な要因を特定しました。さらに、私たちは専門的なエージェントを使用して質問タイプを識別し、適切な回答戦略を決定するLLMベースのマルチエージェントフレームワークを導入します。実験結果は、このアプローチがモデルが会話ダイナミクスの複雑さに対処する能力を大幅に向上させることを示しており、ユーザーからの多様かつ複雑なクエリを効果的に処理できます。私たちのデータセットとコードは公開されており、以下のURLからアクセスできます: https://mcxiaoxiao.github.io/MMSQL.