DVQA 画像の質問と回答のデータ セット

このデータセットは、ロチェスター工科大学と Adobe Research の研究論文です。 DVQA: 質問応答によるデータ視覚化の理解 で紹介されているデータセット。データセットには、画像フォルダー、質問と回答のペア フォルダー、およびバー メタデータ フォルダーの 3 つのフォルダーが含まれています。

棒グラフは数値情報を伝える効果的な方法ですが、今日のアルゴリズムでは解析できません。既存の方法は、外観上のわずかな変更でも失敗します。研究チームは、質問応答フレームワークで棒グラフの理解をさまざまな側面からテストするデータセットである DVQA を提案しています。ビジュアル質問応答 (VQA) とは異なり、DVQA は特定の棒グラフに固有の単語と回答を処理する必要があります。最先端の VQA アルゴリズムは DVQA ではパフォーマンスが低く、研究チームはパフォーマンスを向上させる 2 つの強力なベースラインを提案しています。研究チームの取り組みにより、科学出版物、インターネット記事、ビジネスレポート、その他多くの分野で見られる多数の棒グラフからアルゴリズムが自動的に数値情報と意味情報を抽出できるようになる。

DVQA データ セットは、matplotlib を使用して生成されました。データ セットには 2 つの質問タイプがあります。1 つは各チャートに共通の一般的な質問、もう 1 つは特定のチャートに有効な特別な質問です。

質問は、a) 構造の理解、b) データの検索、c) データの推論の 3 つの領域をカバーします。例については上の図を参照してください。
テスト セットには単語範囲をカバーする 2 種類の質問があります。Test-Familiar にはトレーニング セット内の単語のみが含まれ、Test-Novel には新しい単語も含まれます。