MSc-SQL: 多サンプルによる小型言語モデルのテキストからSQLへの批判的評価

テキストからSQLへの変換（Text-to-SQL生成）は、非専門家が自然言語を介してデータベースと対話できるようにする技術です。最近の進歩はGPT-4のような大規模なクローズドソースモデルに依存しており、アクセス性、プライバシー、およびレイテンシの面で課題を呈しています。これらの問題に対処するために、私たちは小型で効率的かつオープンソースのText-to-SQLモデルの開発に焦点を当てています。複数の候補となるSQL生成をサンプリングすることの利点を示し、関連メタデータを使用してそれらを評価する方法であるMSc-SQLを提案します。私たちのサンプル評価モデルは複数の出力を同時に評価し、他のオープンソースモデルと比較して最先端の性能を達成しつつ、大規模モデルと同等の性能を大幅に低いコストで維持しています。完全なコードはhttps://github.com/layer6ai-labs/msc-sql で公開されています。