ChartQA: チャートに関する視覚的および論理的推論を用いた質問応答のベンチマーク

グラフはデータ分析において非常に一般的に使用されています。グラフを探索する際、人々はしばしば複数の論理的および算術的な操作を含む様々な複雑な推論質問を行います。また、質問の中でグラフの視覚的な特徴を参照することもよくあります。しかし、既存の多くのデータセットでは、このような複雑な推論質問に焦点を当てていません。それらの質問はテンプレートに基づいており、答えは固定的な語彙から来ています。本研究では、9,600件の人間が書いた質問と、人間が書いたグラフ要約から生成された23,100件の質問を含む大規模ベンチマークを提示します。当該ベンチマークにおける視覚的および論理的な推論に関連する独自の課題に対処するために、視覚的な特徴とグラフのデータテーブルを統一的に組み合わせて質問に答える2つのトランスフォーマーベースモデルを提案します。私たちのモデルは以前のデータセットだけでなく当該ベンチマークでも最先端の結果を達成していますが、評価により複雑な推論質問への回答においていくつかの課題が明らかになりました。