エンティティ中心の質問に対するゼロショットニューラルリトリーバルに、凍結された事前学習済み言語モデルを用いることができるか？

ニューラルドキュメントリトリーバー、特に密なパラグラフリトリーバー（Dense Passage Retrieval: DPR）は、特定の質問応答データセット上でファインチューニングおよびテストされた場合、従来の語彙的マッチング型リトリーバー（例：BM25）を上回る性能を発揮している。しかし、既存の密なリトリーバーがドメイン外だけでなく、Wikipediaのような同一ドメイン内でも一般化能力に乏しいことが示されており、特に質問に含まれる固有表現（Named Entity）がリトリーブの主要な手がかりとなる場合に顕著である。本論文では、ドメイン内の固有表現を用いて事前学習された固定された言語モデルから生成された埋め込み（embedding）を活用することで、ドメイン内一般化を実現する手法を提案する。ファインチューニングを行わない状態で、事前学習済み言語モデルに内在する豊富な知識がリトリーブタスクに有効に利用可能である可能性を検証している。提案手法は、Wikipediaドメインにおける固有表現中心の質問に対して、従来のDPRを上回る性能を達成し、BM25および最先端のSPARモデルとほぼ同等の性能を実現した。また、固有表現名が一般的な語から構成される場合、文脈を反映したキー（contextualized keys）がBM25に比べて顕著な性能向上をもたらすことも示した。本研究の結果は、DPRが困難を抱えてきたWikipediaドメインにおける固有表現中心の質問に対するゼロショットリトリーブの実現可能性を示しており、新たなアプローチの有効性を裏付けている。