XLNet: 言語理解のための一般化された自己回帰事前学習

双方向コンテキストのモデリング能力を持つことから、BERTのようなノイズ除去オートエンコーダーを基にした事前学習は、自己回帰言語モデルを基にした事前学習アプローチよりも優れた性能を達成しています。しかし、入力をマスクで破壊することに依存しているため、BERTはマスクされた位置間の依存関係を見落としており、事前学習と微調整の乖離が生じています。これらの長所と短所を踏まえて、我々はXLNetという一般化された自己回帰型の事前学習手法を提案します。XLNetは（1）すべての因数分解順序の置換に関する期待値尤度を最大化することで双方向コンテキストの学習を可能にし、（2）自己回帰的な定式化によりBERTの制約を克服します。さらに、XLNetは最先端の自己回帰モデルであるTransformer-XLからのアイデアを取り入れて事前学習を行います。経験的に見ると、同等の実験設定下で、XLNetは20以上のタスクにおいてBERTを上回り、質問応答や自然言語推論、感情分析、文書ランキングなどのタスクでは大幅な差をつけていることが確認されています。