要約

大規模言語モデル（LLM）の表推論における能力を調査するための広範な研究が行われているが、表の情報をレポートに変換するという基本的なタスクは、産業応用において依然として大きな課題である。このタスクは、以下の2つの重要な問題に悩まされている：1）表の構造の複雑さと多様性により、推論結果が最適でない傾向があること；2）既存の表ベンチマークが、このタスクの実用的応用能力を十分に評価する能力を欠いていること。このギャップを埋めるために、本研究では「表からレポート生成」（table-to-report, T2R）というタスクを提案し、その情報フローを明確に定義した二言語対応ベンチマーク「T2R-bench」を構築した。本ベンチマークは、実世界のシナリオから抽出された457の産業用表を含み、19の産業分野および4種類の産業用表形式をカバーしている。さらに、レポート生成の品質を公正に評価するための評価基準を提案した。25種類の広く使用されているLLMを対象とした実験の結果、最先端モデルであるDeepseek-R1ですら全体スコア62.71にとどまり、LLMがT2R-benchにおいてさらなる改善の余地を有していることが示された。ソースコードおよびデータは、論文の受諾後公開予定である。