要約
既存の表形式表現学習に関する研究では、事前学習済み言語モデル（例如、BERT）から派生した自己監督型目的関数を用いて、表と関連テキストを共同でモデル化しています。この共同事前学習は、表とテキストがペアで存在するタスク（例えば、表に関する質問への回答）において性能を向上させますが、当研究では、関連テキストなしで表のみを対象とするタスク（例えば、欠損セルの補完）においてその性能が劣ることを示しています。そこで、我々は単純な事前学習目的関数（壊れたセル検出）を開発しました。この目的関数は表データのみから学習し、一連の表ベースの予測タスクにおいて最先端の性能を達成しています。競合する手法とは異なり、我々のモデル（TABBIE）はすべての表サブ構造（セル、行、列）の埋め込みを提供し、さらに訓練に必要な計算リソースも大幅に少ないです。我々のモデルが学習したセル、列、および行の表現に対する定性的分析では、複雑な表セマンティクスや数値的な傾向を理解していることが確認されました。