RASAT：事前学習済みSeq2Seqモデルに関係構造を統合したText-to-SQL

スキーマリンクやスキーマエンコーディングといった関係構造は、自然言語をSQLクエリに質的に変換する上で重要な要素であることが検証されている。しかし、こうした構造的関係を導入するには代償が伴う：通常、専用のモデル構造を必要とし、テキストからSQLへの変換において大規模な事前学習モデルの活用を大きく制限してしまう。この問題に対処するために、我々はRASATを提案する。これは、関係に敏感な自己注意機構（relation-aware self-attention）を備えたTransformer seq2seqアーキテクチャであり、T5モデルから得た事前学習パラメータを効果的に引き継ぎつつ、多様な関係構造を活用できる。本モデルは、既存の文献に登場するほぼすべての種類の関係を統合可能であり、さらに、マルチターン設定において共参照関係（co-reference relations）を導入することを提案している。Spider、SParC、CoSQLの3つの広く用いられているテキストからSQLへの変換データセット（単ターンおよびマルチターンの両方をカバー）における実験結果から、RASATがすべてのベンチマークで最先端の性能を達成することが示された（Spiderでは75.5% EX、SParCでは52.6% IEX、CoSQLでは37.4% IEX）。