要約
検索拡張型言語モデル（Retrieval-augmented language models, RALMs）は、事実に基づき、効率的かつ最新の情報を反映した言語理解システムの実現に有望である。RALMsにとって重要な望ましい特性の一つは、検索された情報が関連性がある場合にはモデルの性能を向上させることであり、関連性がなければ性能を低下させないことである。これは特に、複数ステップの推論（multi-hop reasoning）シナリオにおいて重要であり、不適切な証拠を誤用すると、誤りが連鎖的に拡大する可能性があるからである。しかし、最近の研究では、検索拡張が場合によって性能に悪影響を及ぼすことがあることが示されている。本研究では、5つのオープンドメイン質問応答ベンチマークを対象に、検索が精度を低下させる状況を体系的に分析した。その後、この問題を軽減するための2つの手法を提案する。まず、自然言語推論（Natural Language Inference, NLI）モデルに基づいて、質問-回答ペアを含意（entail）しない検索された本文をフィルタリングするシンプルなベースライン手法を提案する。このアプローチは性能低下を防ぐ効果があるが、関連する本文も誤って除外してしまうという課題がある。そこで、訓練時に関連する文脈と不関連な文脈を混合して用いることで、言語モデルが検索された情報を適切に活用できるようにするための自動データ生成手法を提案する。実証的に、わずか1,000件の訓練例でも、関連する文脈を用いた例では高い性能を維持しつつ、不関連な文脈に対して堅牢（robust）なモデルを学習できることを示した。