大規模言語モデルによって強化されたText-to-SQL：ベンチマーク評価

大規模言語モデル（LLM）は、Text-to-SQLタスクにおける新たなパラダイムとして登場している。しかし、体系的なベンチマークが存在しないことにより、効果的で効率的かつ経済的なLLMベースのText-to-SQLソリューションの設計が阻害されている。この課題に対処するため、本研究では、既存のプロンプト工学手法について、質問表現、例題選択、例題構成の観点から体系的かつ広範な比較を行った。これらの実験結果をもとに、各手法の利点と欠点を詳細に分析した。その結果を基に、新たな統合型ソリューションであるDAIL-SQLを提案した。本手法はSpiderリーダーボードにおいて86.6%の実行精度を達成し、新たな基準を確立した。また、オープンソースLLMの潜在能力を検証するため、さまざまなシナリオにおける性能を調査し、教師あり微調整（supervised fine-tuning）を用いてさらなる性能向上を実現した。これらの調査から、オープンソースLLMがText-to-SQLにおいて持つ可能性が明らかになった一方で、教師あり微調整の利点と限界も浮き彫りになった。さらに、効率的かつ経済的なLLMベースのText-to-SQLソリューションの実現に向けて、プロンプト工学におけるトークン効率の重要性を強調し、既存研究をこの指標に基づいて比較した。本研究が、LLMを用いたText-to-SQLに関するより深い理解を提供し、今後のさらなる研究進展および広範な応用を促すことを期待している。