CHASE-SQL: テキストからSQLへの変換における多経路推論と嗜好最適化された候補選択

大規模言語モデル（LLM）のテキストからSQLへの変換タスク（Text-to-SQL）における性能向上の課題に取り組むため、CHASE-SQLという新しいフレームワークを提案します。CHASE-SQLは、テスト時の計算リソースを多エージェントモデリングに活用する革新的な戦略を採用し、候補の生成と選択を改善します。CHASE-SQLは、LLMが持つ内在的な知識を利用して、異なるLLMジェネレーターによって多様で高品質なSQL候補を生成します。具体的には以下の方法を使用しています：(1) 単一のLLM呼び出しで複雑なクエリーを管理可能なサブクエリーに分解する分割統治法；(2) データベースエンジンが実行時に取る手順を反映したクエリー実行計画に基づく思考連鎖推論；(3) テスト問題に特化した具体的な少ショットデモンストレーションを提供する独自のインスタンス認識型合成例生成技術。最適な候補を選定するために、選択エージェントが微調整された二値候補選択用LLMを使用して、候補間のペアワイズ比較を行いランキング付けを行います。この選択手法は他の手法よりも堅牢であることが示されています。提案されるジェネレーター-セレクター・フレームワークは、SQLクエリーの質と多様性を向上させるだけでなく、従来の方法よりも優れた性能を発揮します。全体として、我々が提案するCHASE-SQLは著名なBIRD Text-to-SQLデータセットベンチマークのテストセットおよび開発セットにおいて、最先端の実行精度73.0%および73.01%を達成しており、論文提出時点ではリーダーボードでの最高提出となっています。