GraPPa：テーブル意味解析のための文法拡張型事前学習

我々は、テキストデータと表データの共同表現において構成的インダクティブバイアスを学習する有効な事前学習アプローチであるGraPPaを提案する。本手法では、既存のテキストからSQLへの変換データセットから導出された同期文脈自由文法（SCFG）を用いて、高品質な表を基に合成された質問-SQLペアを構築する。その後、各質問-SQLペアについて、表のフィールドがSQLにおいて果たす文法的役割を予測する新たなテキスト-スキーマリンク目的関数を用いて、合成データ上でモデルを事前学習する。また、実世界のデータを適切に表現する能力を維持するため、複数の既存の表と自然言語のデータセットを用いたマスク言語モデル（MLM）を組み合わせ、事前学習プロセスを正則化する。4つの代表的な完全教師ありおよび弱教師あり表意味解析ベンチマークにおいて、GraPPaは特徴表現層としてRoBERTa-largeを用いた場合に大幅に性能を上回り、すべてのベンチマークで新たなSOTA（最新の最良結果）を達成した。