言語モデルの構造理解能力を向上させる手法について紹介します。従来のタスク固有の拡張を使用して微調整を行うアプローチとは異なり、我々はタスク非依存のコーパス群で言語モデルを事前学習させ、テキストから構造を生成する方法を採用しています。この構造的事前学習により、モデルが学んだ構造に関する知識をゼロショット転移させることが可能となります。我々は、この手法の性能を28のデータセットで評価し、オープン情報抽出、ジョイントエンティティと関係抽出、ネームドエンティティ認識、関係分類、意味役割ラベリング、イベント抽出、共参照解消、事実探査、意図検出、および対話状態追跡など10種類の構造予測タスクにわたり研究しました。さらに、タスク固有の訓練データセットを使用して事前学習を強化しています。100億パラメータを持つ言語モデルがほとんどのタスクに対して非自明な転移を行い、評価した28つのデータセット中の21つで最先端の性能を得ることを示しています。