要約
事前学習された言語モデルは、抽出型質問応答を含む下流の言語理解タスクの性能を著しく向上させ、高品質な文脈依存的単語埋め込みを提供している。しかし、質問応答モデルの学習には、特定のドメインに対して大規模なアノテーション付きデータが必要であるという課題がある。本研究では、モデル性能の向上を目的として、より非自明な質問-回答ペアを自動生成するための協調的自己学習フレームワークRGXを提案する。RGXは、マスクされた回答抽出タスクに基づき、回答エンティティ認識器（Answer Entity Recognizer）、質問生成器（Question Generator）、回答抽出器（Answer eXtractor）から構成される相互作用型学習環境を採用している。与えられた文章にマスクされたエンティティがある状態で、生成器がそのエンティティを中心に質問を生成し、抽出器は生成された質問と原文テキストを用いてマスクされたエンティティを抽出するように学習される。このフレームワークにより、アノテーションなしで任意のテキストコーパス上で質問生成および回答モデルの学習が可能となる。実験結果から、RGXは標準的な質問応答ベンチマークにおいて、従来の最先端（SOTA）の事前学習言語モデルおよび転移学習手法を上回り、与えられたモデルサイズおよび転移学習設定下で新たなSOTA性能を達成したことが示された。