要約
オープンドメイン質問応答は、推論時にドキュメントをオンデマンドで処理する必要なく、語句検索問題に再定式化できる（Seo et al., 2019）。しかし、現在の語句検索モデルは依然としてスパース表現に大きく依存しており、リトリーバーリーダー型アプローチに比べて性能が劣っている。本研究では、初めて語句の密度表現（dense representations）のみを学習することで、オープンドメインQAにおいて大幅に優れた性能を達成できることを示す。我々は、読解理解タスクの教師信号から語句表現を学習する有効な手法を提案するとともに、新たなネガティブサンプリング手法を導入する。さらに、トレーニングと推論の乖離を低減し、転移学習を支援するクエリ側のファインチューニング戦略を提案する。5つの代表的なオープンドメインQAデータセットにおいて、本モデルDensePhrasesは従来の語句検索モデルを15%～25%の絶対的な精度向上で上回り、最先端のリトリーバーリーダー型モデルと同等の性能を達成した。本モデルは純粋な密度表現を採用しているため並列化が容易であり、CPU上で1秒間に10件以上の質問を処理できる。最後に、事前にインデックス化された密度表現を直接2つのスロットフィリングタスクに適用することで、DensePhrasesが下流タスク向けの密度型知識ベースとして利用可能であることを示した。