Command Palette
Search for a command to run...
大規模言語モデルは多用途の分解器である:テーブルに基づく推論のための証拠と質問の分解
大規模言語モデルは多用途の分解器である:テーブルに基づく推論のための証拠と質問の分解
Yunhu Ye Binyuan Hui Min Yang Binhua Li Fei Huang Yongbin Li
概要
テーブルベースの推論は、深層モデルと離散的な推論を組み合わせることで著しい進歩を遂げています。これは、自由形式の自然言語(NL)の質問と構造化された表データの両方に対する推論を必要とするためです。しかし、従来のテーブルベースの推論ソリューションは、巨大な証拠(表)に対して性能が大幅に低下する傾向があります。さらに、既存の方法の多くは複雑な質問に対する推論が困難であり、必要な情報が異なる場所に分散していることが原因となっています。これらの課題を緩和するために、我々は大規模言語モデル(LLMs)を効果的なテーブルベース推論のために分解器として活用します。具体的には、(i) 巨大な証拠(巨大な表)を部分証拠(小さな表)に分解し、無駄な情報による干渉を軽減します;(ii) 複雑な質問をより単純な部分質問に分解し、テキスト推論を行います。特に、我々はまず LLMs を使用して現在の質問に関連する証拠(表)を分割し、関連のある証拠のみを残し、巨大な表からその他の無関係な証拠を除外します。また、「パース-実行-充填」戦略を提案することで、思考チェーンにおける幻覚問題を緩和します。この戦略では、各ステップにおいてロジックと数値計算を分離することにより対処しています。広範囲にわたる実験結果から、我々の方法は分解された証拠と質問を利用できることを示しており、TabFact, WikiTableQuestions, および FetaQA データセットにおいて強力な基準モデルを超える性能を発揮しています。特に注目に-worthy は、我々のモデルが初めて TabFact データセットで人間の性能を超えたことです。注:「注目に-worthy」という表現は一般的ではありませんので、「特に注目に値するのは」と修正しました。