FiE：エンコーダーにおける早期統合を活用したグローバル確率空間の構築によるオープンドメイン質問応答

近年、生成モデルは、複数のエンコーディングされたパラグラフにわたる情報にデコーダを用いて注目（attention）し、その情報を統合する手法を活用することで、オープンドメイン質問応答（Open Domain Question Answering）において抽出型モデルを上回る性能を示すようになってきた。しかし、生成モデルはデコーダの必要性から抽出型モデルよりもモデルが大きく、推論時に自己回帰的デコーダのビームサーチにより処理が遅くなる傾向があり、生成出力はしばしば幻覚（hallucination）を引き起こすという課題を抱えている。本研究では、複数のパラグラフからの情報を統合できるようにTransformerエンコーダを拡張する手法を提案する。具体的には、すべてのサンプルのトークンにわたるクロスサンプル注意機構を提供するためのグローバル表現を導入する。さらに、すべてのサンプルのグローバル空間における回答スコアをより適切に集約するための代替的な回答スパン確率計算手法も提案する。本手法を用いることで、Natural Questionsデータセットにおいて、現在の最先端手法より2.5のExact Matchスコアを上回りながら、パラメータ数を25％、推論時のレイテンシを35％に削減した。また、WebQuestionsデータセットでは4.4のExact Matchスコアの向上を達成した。さらに、合成データ増強（synthetic data augmentation）と組み合わせることで、TrivQAデータセットにおいてもより大きなモデルを上回る性能を発揮した。本手法のレイテンシおよびパラメータ削減効果は、計算負荷が高くなる傾向があるオープンドメイン質問応答の文脈において特に魅力的である。