エンドツーエンドビーム検索によるマルチホップ質問応答

マルチホップ質問応答（QA）は、複雑な質問に答えるために複数の関連する本文を検索し、段階的な推論を行うことを含み、検索・読解のパラダイムを示している。しかし、従来の検索器は2ホップの質問に特化しており、ほとんどの場合、各ホップごとに別々に訓練されていたため、全体のマルチホップ検索プロセスに対する監視が不足しており、2ホップを超える複雑なシナリオでは性能が著しく低下するという問題があった。本研究では、マルチホップQA向けのエンド・トゥ・エンド型ビーム検索フレームワーク「Beam Retrieval」を提案する。このアプローチは、すべてのホップにおいてエンコーダと2つの分類ヘッドを共同最適化することで、マルチホップ検索プロセスをエンド・トゥ・エンドでモデル化する。さらに、Beam Retrievalは各ステップで複数の部分的関連本文仮説を維持することで、探索空間を拡大し、関連する本文を見逃すリスクを低減する。完全なQAシステムを構築するため、教師ありリーダーまたは大規模言語モデル（LLM）を組み込む。実験結果から、Beam Retrievalは挑戦的なMuSiQue-Ansデータセットにおいてベースライン比でほぼ50％の性能向上を達成し、HotpotQAにおいてもすべての既存検索器を上回り、2WikiMultiHopQAでは99.9％の精度を達成した。高品質なコンテキストを提供するBeam Retrievalは、教師ありリーダーが新たな最先端性能を達成するのを支援し、LLMのフェイショットQA性能も著しく向上させた。