StructChart: 可視化チャート理解のためのスキーマ、メトリクス、および拡張

グラフは、様々な科学分野の文献において一般的に見られ、読者にとって豊富な情報を容易に理解できる形で提供しています。現在のグラフ関連タスクは、視覚的なグラフから情報を抽出するグラフ認識と、抽出されたデータ（例えば表形式）を基にしたグラフ推論のいずれかに焦点を当てています。本論文では、構造化トリプレット表現（STR）を活用して、統一的かつ効率的なラベルを使用したグラフ認識と推論タスクへのアプローチである新規フレームワーク「StructChart」を紹介します。このアプローチは、質問応答タスクに特化した先行研究を超えて、異なる下流タスクにも一般的に適用可能です。具体的には、StructChartはまず線形化されたCSV形式からSTRへとグラフデータを再構成します。これにより、グラフ認識と推論の間のタスクギャップが友好的に縮小されます。次に、我々は構造化チャート指向表現評価指標（SCRM）を提案し、グラフ認識タスクの性能を定量的に評価します。訓練データの拡充のために、さらに大規模言語モデル（LLMs）の可能性を探り、グラフの視覚スタイルと統計的情報の多様性を向上させます。様々なグラフ関連タスクにおける広範な実験結果は、統一的なグラフ認識-推論パラダイムが有効であり、その潜在力を示しており、これによりグラフ理解の最先端を推進することが期待できます。