15日前
複数のThoughtチェーンにおけるメタ推論による質問への回答
Ori Yoran, Tomer Wolfson, Ben Bogin, Uri Katz, Daniel Deutch, Jonathan Berant

要約
マルチホップ質問応答(QA)における現代的なシステムは、最終的な回答に至る前に、質問を一連の推論ステップに分解する。この一連の推論ステップは「思考の連鎖(Chain-of-Thought, CoT)」と呼ばれる。多くの場合、複数の思考連鎖がサンプリングされ、最終的な回答に対して投票機構を用いて集約されるが、その中間的な推論ステップ自体は無視される。このようなアプローチは性能を向上させるものの、異なる思考連鎖間の相互関係を考慮せず、予測された回答に対して統一的な説明を提供しない。そこで本研究では、複数の思考連鎖の回答を集約するのではなく、大規模言語モデルにそれら複数の思考連鎖について「メタ推論」を実行させる手法である「マルチチェーン推論(Multi-Chain Reasoning, MCR)」を提案する。MCRは複数の推論連鎖を検討し、それらの間で情報を統合・交換しながら、説明の作成および回答の予測に最も関連性の高い事実を選定する。MCRは7つのマルチホップQAデータセットにおいて、強力なベースラインを上回る性能を発揮した。さらに、本研究の分析から、MCRが生成する説明は高い品質を有しており、人間がその回答の妥当性を検証可能であることが明らかになった。