要約
近年、事前学習済み言語モデルは質問生成（Question Generation: QG）タスクにおいて大きな成功を収めており、従来のシーケンス・トゥ・シーケンスアプローチを著しく上回っている。しかし、これらの事前学習モデルは入力となる文章をフラットなシーケンスとして扱うため、入力文章のテキスト構造に関する情報を把握できていない。本研究では、QGタスクにおいてテキスト構造を「回答の位置」と「文法的依存関係」の観点からモデル化し、これらの課題に対処するため、回答周辺性モデリングと構文マスクアテンションを提案する。特に、ガウス分布を用いたバイアスを導入した局所性モデリングにより、モデルが回答に隣接する文脈に注目できるようにし、構文構造を質問生成プロセスに反映できるようにするマスクアテンション機構を提案する。SQuADデータセットにおける実験結果から、本研究で提案する二つのモジュールが強力な事前学習モデルProphetNetを上回る性能を発揮することが示され、両者を統合することで最先端の事前学習モデルと競争力のある結果が得られた。