UniLMv2：統合言語モデル事前学習のための疑似マスク言語モデル

我々は、新しい学習手順である「疑似マスク言語モデル（Pseudo-Masked Language Model: PMLM）」を用いて、自己符号化（autoencoding）と部分的自己回帰的言語モデル化（partially autoregressive language modeling）の両タスクに統一された言語モデルを事前学習することを提案する。入力テキストにマスクされたトークンが与えられた場合、従来のマスクを用いて、破損したトークンと文脈との相互関係を自己符号化により学習し、疑似マスクを用いて、マスクされたトークン群間の内部関係を部分的自己回帰的モデリングにより学習する。適切に設計された位置埋め込み（position embeddings）と自己注意マスク（self-attention masks）を用いることで、文脈表現の再利用が可能となり、重複した計算を回避できる。さらに、自己符号化に用いる従来のマスクはグローバルなマスク情報を提供するため、部分的自己回帰的言語モデル化においてもすべての位置埋め込みにアクセス可能となる。また、これらの2つのタスクにより、統一された言語モデルはそれぞれ双方向エンコーダとシーケンス・トゥ・シーケンス・デコーダとして事前学習される。実験の結果、PMLMにより事前学習された統一言語モデルは、複数の広く用いられるベンチマークにおいて、自然言語理解および生成タスクの幅広い領域で、新たなSOTA（State-of-the-Art）性能を達成した。