GITQA マルチモーダル グラフ推論の質問と回答のデータセット 

GITQA は、香港科技大学と南方科技大学がグラフ構造をさまざまなスタイルのビジュアル イメージに描画することによって構築したビジュアル グラフを含む初の推論質問と回答データ セットです。データセットには 423K を超える質問と回答のインスタンスが含まれており、各インスタンスには、対応するグラフ構造、テキスト、視覚情報と、対応する質問と回答のペアが含まれています。

データ セットには、GITQA-Base と GITQA-Aug の 2 つのバージョンが含まれています。GITQA-Base には、単一スタイルのビジュアル イメージのみが含まれています。 GITQA-Aug はさらに機能が充実しており、レイアウト、ポイントの形状、エッジの幅、ポイントのスタイルなどの変更を含む、ビジュアル グラフのさまざまなデータ拡張を実行し、より多様なビジュアル グラフ表現を提供します。このデータセットは、グラフ推論タスクにおけるテキスト記述ベースの LLM およびマルチモダリティベースの MLLM のパフォーマンスを評価し、グラフ推論に対する視覚情報の影響を調査するために使用できます。