HyperAIHyperAI

Command Palette

Search for a command to run...

Graphix-T5:テキストからSQLへのパースのための事前学習済みTransformerとグラフ認識層の融合

Jinyang Li Binyuan Hui Reynold Cheng Bowen Qin Chenhao Ma Nan Huo Fei Huang Wenyu Du Luo Si Yongbin Li

概要

自然言語による質問を実行可能なSQLクエリに変換するテキストtoSQLパースのタスクは、近年、技術的背景を持たないエンドユーザーがデータベースから重要情報を効率的に抽出できる点から、ますます注目を集めている。この分野における主要な課題の一つは、ドメイン一般化(domain generalization)であり、すなわち、学習時に遭遇していないデータベースに対しても良好に一般化できるかという点である。最近、専門的にテキストtoSQLパースに最適化されていないものの、事前学習済みのテキストtoテキスト変換器モデルであるT5が、ドメイン一般化をターゲットとする標準ベンチマークにおいて、最先端の性能を達成している。本研究では、T5モデルにテキストtoSQLパースに特化した構成要素を追加することで、さらなる性能向上を図る手法を検討する。これらの特化された構成要素は、構造的な誘導バイアス(inductive bias)をテキストtoSQLパーサーに導入することで、構造が複雑なSQLの生成に不可欠な(多段階の)推論能力を強化することが期待される。この目的の下、我々は、標準的な事前学習済みTransformerモデルに、特別に設計されたグラフ認識型レイヤーを組み合わせた混合モデル「GRAPHIX-T5」を提案する。広範な実験と分析の結果、GRAPHIX-T5はSPIDER、SYN、REALISTIC、DKの4つのテキストtoSQLベンチマークにおいて、高い有効性を示した。GRAPHIX-T5は、他のすべてのT5ベースのパーサーを大きく上回り、新たな最先端性能を達成した。特に、GRAPHIX-T5-largeは、オリジナルのT5-largeと比較して、正確一致率(EM)で5.7%、実行精度(EX)で6.6%向上した。これは、T5-3Bをも上回る結果であり、EMでは1.2%、EXでは1.5%の優位性を示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています