ChartQA 視覚的かつ論理的な推論を使用してチャートの質問に答えるためのベンチマーク データセット

データセットの背景

グラフはデータ分析で非常によく使われます。グラフを探索しているときに、人々は多くの場合、複数の論理演算や算術演算を含むさまざまな複雑な推論に関する質問をします。また、質問の中で図の視覚的特徴について言及することもよくあります。ただし、既存のデータセットのほとんどは、質問がテンプレートベースであり、回答が固定語彙から得られるため、そのような複雑な推論問題には焦点を当てていません。

データセットの紹介

この研究では、研究チームは、人間が書いた 9.6K の質問と、人間が書いたチャートの概要から生成された 23.1K の質問をカバーする大規模なベンチマークである ChartQA を提案しています。

Chart Question Answering システム (ChartQA) は、チャートと自然言語の質問を入力することで結果を予測します。テキストベースの QA とは異なり、ChartQA のグラフには視覚的な表現が含まれており、読者の注意は傾向や外れ値などのいくつかの顕著な特徴に集中する可能性があります。このデータセットには、現実世界のグラフと人間が作成した質問と回答のペアが含まれています。

ChartQA は、次の 2 つの点で以前のデータセットと異なります。

質問の種類: 人間が作成したものとテンプレートベースのもの
チャートのソース: 現実世界とツールを使用して生成されたチャート

データ収集

データの収集と準備

異なるテーマとさまざまなスタイルを含む 4 つのチャート Web サイトから抜粋しました。基礎となるデータ テーブルを含む Web サイトのコンテンツもクロールできます。

データの注釈

2 つの主な注釈方法:

AMT (Amazon Mechanical Turk) を使用して、人間が作成した QA ペアを収集します。

人間がラベルを付けた組み合わせ問題 (少なくとも 2 つの演算を含む) と視覚の問題。

Statista が人間によって作成した QA ペアから QA ペアを生成します。