要約
ウェブ上の関係テーブルには、膨大な量の知識が蓄積されています。このようなテーブルの豊富さにより、テーブル理解に関する様々なタスクにおいて大きな進歩が見られています。しかし、既存の研究は一般的に、高度に設計されたタスク固有の特徴量とモデルアーキテクチャに依存しています。本論文では、TURL（Table Understanding via Representation Learning）という新しいフレームワークを提案します。このフレームワークは、関係ウェブテーブルに対して事前学習/微調整パラダイムを導入します。事前学習段階では、当該フレームワークは教師なしで関係テーブルの深層文脈表現を学習します。事前に学習した表現を使用する普遍的なモデル設計は、最小限のタスク固有の微調整で幅広いタスクに適用できます。具体的には、行-列構造を持つ関係テーブルをモデル化するために構造認識型トランスフォーマーエンコーダーを提案し、大規模な無ラベルデータから意味論と知識を捉えるための新しいマスキングエンティティ回復（MER: Masked Entity Recovery）目的関数を提示します。私たちは6つの異なるテーブル理解タスク（例えば、関係抽出やセル補完など）からなるベンチマークを使用してTURLを体系的に評価しました。その結果、TURLは全てのタスクに対して良好な汎化性能を示し、既存手法よりも大部分で大幅に優れた性能を発揮することが確認されました。