生成拡張事前学習を用いた意味解析のための文脈表現学習

最近、大規模なテキストコーパスを活用して、自己教師学習の目的関数（例：マスク言語モデル：MLM）を用いて大規模なニューラル言語モデルを学習することで、さまざまな自然言語処理（NLP）タスクにおける文脈的表現の学習に注目が集まっている。しかし、パイロット研究を通じて、既存の汎用的言語モデルをテキストからSQLへの意味解析（text-to-SQL）パーサーに適用した場合に以下の3つの課題が生じることを観察した。第一に、発話文におけるカラム名の参照を検出できないこと、第二に、セル値からカラム名を推論できないこと、第三に、複雑なSQLクエリの構成ができないことである。これらの課題を軽減するために、生成モデルを活用して事前学習データを生成し、自然言語の発話とテーブルスキーマの表現を統合的に学習するモデル事前学習フレームワーク「Generation-Augmented Pre-training（GAP）」を提案する。GAPモデルは、200万件の発話-スキーマペアおよび3万件の発話-スキーマ-SQLトリプルを用いて学習されており、これらの発話は生成モデルによって生成されたものである。実験結果によると、GAPモデルを表現エンコーダとして活用するニューラル意味解析モデルは、SPIDERおよびCRITERIA-TO-SQLの両ベンチマークにおいて、新たな最良の性能を達成した。