ReasTAP: 予訓練中に合成推論例を用いてテーブル推論スキルを注入する方法

表形式データの推論には、テーブル構造の理解と多様なテーブル推論スキルが必要です。現在のテーブル専用アーキテクチャと事前学習方法を持つモデルは、テーブル構造の理解では優れた性能を発揮していますが、さまざまなテーブル推論スキルを必要とするタスクでは依然として苦戦しています。本研究では、複雑なテーブル専用アーキテクチャ設計なしで、高レベルのテーブル推論スキルをモデルに注入できるReasTAPを開発しました。私たちは7つのテーブル推論スキル（数値操作、時間比較、結合など）を定義し、各推論スキルに関連する1つの例生成器を設定しました。これらの例生成器は、サンプリングされたテンプレートに基づいて半構造化テーブルに対する質問を合成します。私たちはテーブル事前学習タスクをシーケンス生成タスクとしてモデル化し、ReasTAPを事前に学習させて合成された例に対する正確な回答を生成させました。ReasTAPは3つの下流タスク（1) WikiSQLとWTQによるテーブル質問応答；2) TabFactによるテーブル事実検証；3) LogicNLGによる忠実なテーブルからテキストへの変換）をカバーする4つのベンチマークで評価されました。実験結果は、ReasTAPがすべてのベンチマークで新しい最先端の性能を達成し、低リソース設定においても大幅な改善をもたらすことを示しています。私たちのコードは公開されており、https://github.com/Yale-LILY/ReasTAP からアクセスできます。