オープンドメイン質問応答のための複数文書リーダーおよびリトリーバーのエンドツーエンド訓練

我々は、複数の検索結果ドキュメントから情報を統合して回答を生成する、検索拡張型オープンドメイン質問応答システムに対するエンドツーエンド微分可能な学習手法を提案する。本手法では、関連ドキュメントの集合に対する潜在変数として検索意思決定をモデル化する。検索結果ドキュメント集合の周辺化（marginalization）は計算上困難であるため、期待値最大化（Expectation-Maximization, EM）アルゴリズムを用いてこれを近似する。本手法は、反復的に与えられた質問に対する関連ドキュメント集合（潜在変数）の推定値を求める一方で、その推定値を用いて検索モデル（retriever）および読解モデル（reader）のパラメータを更新する。我々は、このエンドツーエンド学習により、学習信号が読解モデルを経由して検索モデルへより効果的に伝播されると仮定する。その結果、質問に適したより関連性の高いドキュメントを検索できる検索モデル、およびより正確なドキュメントに基づいて回答を生成できる読解モデルが得られる。3つのベンチマークデータセットにおける実験により、本手法が同等規模の既存手法すべてを2～3%の絶対的な正確一致率（exact match）で上回り、新たな最先端性能を達成することを示した。また、検索意思決定に対する明示的な教師信号なしに、検索の学習を用いて回答生成の性能を向上させることが可能であることを実証した。