文書レベルの目的関数を用いたTransformerモデルの事前学習による回答文選択

質問応答（QA）システムの設計において重要なタスクの一つとして、回答文選択（Answer Sentence Selection: AS2）がある。AS2とは、検索された関連文書群の中から質問に対する答えを含む（または構成する）文を特定するタスクである。本論文では、文レベルのトランスフォーマー事前学習において、文書内および文書間の段落レベルの意味情報を統合する3つの新規な事前学習目標を提案する。これにより、AS2タスクにおけるトランスフォーマーの性能を向上させるとともに、大規模なラベル付きデータセットの必要性を軽減することを目的とする。具体的には、モデルに以下の3つの予測タスクを課す：（i）2つの文が同一の段落から抽出されたかどうかを予測する、（ii）指定された文が特定の段落から抽出されたかどうかを予測する、（iii）2つの段落が同一の文書から抽出されたかどうかを予測する。公開データセット3つおよび産業界用データセット1つを用いた実験の結果、提案する事前学習済みトランスフォーマーは、RoBERTaやELECTRAなどのベースラインモデルに対して、AS2タスクにおいて実証的に優れた性能を示した。