要約
自由形式の表に対する質問応答（TableQAとも呼ばれる）は、表の柔軟な構造と複雑なスキーマのため、困難なタスクとなっています。最近の研究では、このタスクに大規模言語モデル（LLMs）を使用しており、自然言語で与えられる質問と、多くのテキストフィールドを含む表データの理解能力を活用しています。このアプローチは有望な結果を示していますが、表データによく見られる数値情報がもたらす課題を見落としています。また、LLMsはこのような数値情報の処理に苦戦することが知られています。本研究では、この問題に対処するために、大規模言語モデルを回答生成器ではなくプランナーとして使用するモデルTabLaPを提案します。このアプローチは、多段階推論の能力を活用しながら、実際の数値計算はPythonインタプリターに任せることで正確な計算を実現します。LLMsの不正確さを認識し、さらにTabLaPによって生成された回答の信頼性を定量的に評価する最初の一歩を踏み出しました。これにより、ユーザーは後悔しない形でTabLaPを使用することができます。2つのベンチマークデータセットでの実験結果から、TabLaPは最先端のモデルよりも大幅に精度が高く、それぞれのデータセットにおいて回答精度が5.7%および5.8%向上していることが示されました。