TableBench テーブルの質問と回答のベンチマーク

テーブル質問応答におけるLLMの能力をより適切に評価するために、北航大学、ウォータールー大学、復旦大学、北京情報科学技術大学の研究チームは共同でTableBenchテーブル質問応答ベンチマークを発表しました。関連する論文結果は「」です。TableBench: テーブルでの質問応答のための包括的かつ複雑なベンチマーク”。

TableBench は、人間が注釈を付けた包括的で洗練された TableQA ベンチマークで、18 ドメインの 886 個のサンプルが含まれており、事実確認、数的推論、データ分析、視覚化タスクを容易にするように設計されています。さらに、チームはさまざまな推論方法で LLM をガイドすることを目的として、TableInstruct 大規模命令コーパスもオープンソース化しました。