Command Palette
Search for a command to run...
TabSQLify:テーブル分解を活用したLLMの推論能力の向上
TabSQLify:テーブル分解を活用したLLMの推論能力の向上
Md Mahadi Hasan Nahid Davood Rafiei
概要
表の推論は、自然言語による質問と構造化された表データの両方を理解する必要がある困難なタスクである。大規模言語モデル(LLM)は、自然言語の理解および生成において優れた能力を示しているが、入力長の制限により、大規模な表データの処理にはしばしば苦労する。本論文では、表の推論タスクに先立ち、テキストからSQLへの生成を活用して表を、質問への回答や主張の検証に必要な情報のみを含む小さな関連サブテーブルに分解する新しい手法「TabSQLify」を提案する。4つの困難なデータセットにおける包括的な評価において、本手法は従来の全表を入力として用いる手法と比較して、同等または優れた性能を示した。さらに、本手法は入力コンテキストの長さを大幅に短縮できるため、大規模な表推論アプリケーションにおいてよりスケーラブルかつ効率的である。WikiTQベンチマークでは64.7%の精度を達成し、特に優れた性能を発揮した。また、TabFactベンチマークでは79.5%の高い精度を記録し、gpt-3.5-turbo(ChatGPT)を含む他のLLMベースのベースラインモデルを上回った。TabSQLifyは表のサイズを著しく削減でき、大規模な表を扱う際のLLMの計算負荷を軽減しつつ、性能の低下を招かないという点で顕著な利点を持つ。