17日前

SPARTA:スパーストランスフォーマーマッチング検索を用いた効率的なオープンドメイン質問応答

Tiancheng Zhao, Xiaopeng Lu, Kyusong Lee
SPARTA:スパーストランスフォーマーマッチング検索を用いた効率的なオープンドメイン質問応答
要約

我々は、オープンドメイン質問応答(OpenQA)において、性能、汎化能力、解釈可能性の面で大きな可能性を示す新しいニューラル検索手法「SPARTA」を提案する。多くのニューラルランク付け手法が密度型ベクトルの最近傍探索に依存するのに対し、SPARTAは疎表現(sparse representation)を学習し、効率的にインバーテッドインデックス(Inverted Index)として実装可能である。この表現により、高コストな近似ベクトル探索を必要とせずにスケーラブルなニューラル検索が実現され、密度型手法よりも優れた性能を達成する。本手法は、4つのオープンドメイン質問応答(OpenQA)タスクおよび11の検索型質問応答(ReQA)タスクにおいて検証された。SPARTAは、英語および中国語のデータセットを対象とした多様なオープンドメイン質問応答タスクにおいて、新しいSOTA(State-of-the-Art)成績を達成しており、オープンSQuAD、Natural Question、CMRCなど、代表的なタスクで顕著な成果を示した。さらに、分析により本手法が人間が解釈可能な表現を生成し、性能と効率のトレードオフを柔軟に制御可能であることが確認された。