自然言語理解と生成のための統一言語モデル事前学習

本論文では、自然言語理解と生成タスクの両方に微調整できる新しい統一型事前学習言語モデル（Unified pre-trained Language Model, UniLM）を提案します。このモデルは、単方向、双方向、およびシーケンス・ツー・シーケンス予測の3種類の言語モデリングタスクを使用して事前学習されます。統一モデリングは、共有Transformerネットワークを用い、特定の自己注意マスクを使用して予測がどのコンテキストに依存するかを制御することで達成されます。UniLMはGLUEベンチマークやSQuAD 2.0、CoQAの質問応答タスクにおいてBERTと比較して優れた結果を示しています。さらに、CNN/DailyMail抽象的要約のROUGE-Lスコアを40.51（絶対値2.04の向上）、Gigaword抽象的要約のROUGE-Lスコアを35.75（絶対値0.86の向上）、CoQA生成質問応答のF1スコアを82.5（絶対値37.1の向上）、SQuAD質問生成のBLEU-4スコアを22.12（絶対値3.75の向上）、DSTC7文書基盤ダイアログ応答生成のNIST-4スコアを2.67（人間パフォーマンスは2.65）とするなど、5つの自然言語生成データセットで新たな最先端結果を達成しています。コードと事前学習済みモデルは、https://github.com/microsoft/unilm から入手可能です。