最近の言語モデルの事前学習における進展は、大規模な非構造化テキストデータを活用することで大きな成功を収めています。しかし、構造化された表形式データでの事前学習は、高品質な大規模な表データの欠如により依然として課題となっています。本論文では、TAPEXを提案し、合成コーパス上でニューラルSQL実行器を学習することによって表の事前学習が達成できることを示します。この合成コーパスは、自動的に実行可能なSQLクエリとその実行結果を生成することで得られます。TAPEXは、多様で大規模かつ高品質な合成コーパス上で言語モデルがSQL実行器を模倣するように導くことで、データ不足の課題に対処します。我々は4つのベンチマークデータセットでTAPEXを評価しました。実験結果は、TAPEXが以前の表事前学習アプローチよりも大幅に優れており、すべてのベンチマークで新たな最先端の成果を達成していることを示しています。これには、弱教師付きWikiSQL意味照応精度（+2.3%）への改善、WikiTableQuestions意味照応精度（+4.8%）、SQA意味照応精度（+3.5%）、およびTabFact精度（+3.2%）への向上が含まれます。当該研究において、合成実行プログラムを通じて表の事前学習を行う初めての試みであり、様々な下流タスクで新たな最先端成果を達成したことが確認されています。私たちのコードは以下のURLから入手可能です: https://github.com/microsoft/Table-Pretraining.この翻訳では、「意味照応精度」（denotation accuracy）という専門的な表現を使用しました。「ニューラルSQL実行器」（neural SQL executor）や「合成コーパス」（synthetic corpus）などの技術用語も正確に翻訳し、全体的に正式かつ自然な日本語表現を目指しました。