HyperAIHyperAI

Command Palette

Search for a command to run...

ReasTAP: 予訓練中に合成推論例を用いてテーブル推論スキルを注入する方法

Yilun Zhao Linyong Nan Zhenting Qi Rui Zhang Dragomir Radev

概要

表形式データの推論には、テーブル構造の理解と多様なテーブル推論スキルが必要です。現在のテーブル専用アーキテクチャと事前学習方法を持つモデルは、テーブル構造の理解では優れた性能を発揮していますが、さまざまなテーブル推論スキルを必要とするタスクでは依然として苦戦しています。本研究では、複雑なテーブル専用アーキテクチャ設計なしで、高レベルのテーブル推論スキルをモデルに注入できるReasTAPを開発しました。私たちは7つのテーブル推論スキル(数値操作、時間比較、結合など)を定義し、各推論スキルに関連する1つの例生成器を設定しました。これらの例生成器は、サンプリングされたテンプレートに基づいて半構造化テーブルに対する質問を合成します。私たちはテーブル事前学習タスクをシーケンス生成タスクとしてモデル化し、ReasTAPを事前に学習させて合成された例に対する正確な回答を生成させました。ReasTAPは3つの下流タスク(1) WikiSQLとWTQによるテーブル質問応答;2) TabFactによるテーブル事実検証;3) LogicNLGによる忠実なテーブルからテキストへの変換)をカバーする4つのベンチマークで評価されました。実験結果は、ReasTAPがすべてのベンチマークで新しい最先端の性能を達成し、低リソース設定においても大幅な改善をもたらすことを示しています。私たちのコードは公開されており、https://github.com/Yale-LILY/ReasTAP からアクセスできます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています