スパイダー：大規模な人間によるラベリングデータセットで、複雑でクロスドメインの意味解析およびテキストからSQLへの変換タスクに使用される

私たちは、11人の大学生によって注釈された大規模で複雑かつ多領域の意味解析およびテキストからSQLへの変換データセットであるSpiderを紹介します。このデータセットは、200の複数テーブルを持つデータベースに存在する10,181の質問と5,693の異なる複雑なSQLクエリから構成されており、138の異なる領域をカバーしています。私たちは、訓練セットとテストセットで異なる複雑なSQLクエリとデータベースが登場する新しい複雑かつ多領域の意味解析およびテキストからSQLへの変換タスクを定義しました。これにより、モデルは新しいSQLクエリと新しいデータベーススキーマに対して良好に一般化することが求められます。Spiderは、以前の大部分の意味解析タスクとは異なります。それらはすべて単一のデータベースを使用し、訓練セットとテストセットで完全に同じプログラムを使用しています。私たちは様々な最先端モデルを実験し、最良のモデルでもデータベース分割設定での完全一致精度は12.4%に過ぎませんでした。これは、Spiderが今後の研究にとって大きな挑戦であることを示しています。私たちのデータセットとタスクは、https://yale-lily.github.io/spider で公開されています。