TAT-QA：ファイナンスにおける表形式とテキスト形式のハイブリッドコンテンツを対象とした質問応答ベンチマーク

表形式データとテキストコンテンツを組み合わせたハイブリッドデータ（例：財務報告書）は、現実世界において非常に広く存在している。しかし、既存の研究では、こうしたハイブリッドデータに対する質問応答（QA）はほとんど無視されている。本研究では、実際の財務報告書からサンプルを抽出し、表形式データとテキストデータの両方を含む新たな大規模QAデータセット「TAT-QA」を構築した。このデータセットでは、答えを導出するために数値推論（加算、減算、乗算、除算、数え上げ、比較／ソート、およびそれらの組み合わせ）が通常必要となる。さらに、表とテキストの両方に対して推論が可能な新しいQAモデル「TAGOP」を提案する。TAGOPは、表から関連するセルを、テキストから関連する語群を順序タグ付けによって抽出し、それらの意味を推定した後、集約演算子を用いた記号的推論を実行することで最終的な答えを導出する。TAT-QAに対する実験の結果、TAGOPはF1スコア58.0％を達成し、従来の最良ベースラインモデルよりも11.1％の絶対値向上を示した。しかし、専門家人間の性能（F1スコア90.8％）と比較すると依然として大きく劣っている。この結果から、TAT-QAが極めて挑戦的であることが示され、ハイブリッド形式のデータに対応する強力なQAモデルの訓練および評価のためのベンチマークとして有効であることが確認された。