ERNIE-GEN: 自然言語生成のための強化されたマルチフロー事前学習および微調整フレームワーク

現在の自然言語生成における事前学習研究では、下流タスクでの露出バイアスの問題に十分な注意が払われていません。この課題に対処するため、私たちはERNIE-GENと呼ばれる強化されたマルチフローシーケンスタシークエンスの事前学習および微調整フレームワークを提案します。ERNIE-GENは、インフィリング生成メカニズムとノイズ認識生成手法を用いて、学習と推論の間の乖離を埋めます。生成プロセスを人間の執筆パターンに近づけるために、このフレームワークはモデルが単語ごとにではなく、意味的に完全な区間を連続して予測するように訓練する区間ごとの生成フローを導入しています。既存の事前学習方法とは異なり、ERNIE-GENはマルチグラナリティ目標サンプリングを取り入れて事前学習データを構築し、エンコーダーとデコーダーの相関性を高めています。実験結果は、抽象的要約（GigawordおよびCNN/DailyMail）、質問生成（SQuAD）、対話生成（Persona-Chat）および生成的質問応答（CoQA）などの一連の言語生成タスクにおいて、少ない量の事前学習データとパラメータで最先端の成果を達成することを示しています。