2ヶ月前

RealCQA: 科学的なチャート質問応答を一階論理のテストベッドとして

Ahmed, Saleem ; Jawade, Bhavin ; Pandey, Shubham ; Setlur, Srirangaraj ; Govindaraju, Venu
RealCQA: 科学的なチャート質問応答を一階論理のテストベッドとして
要約

私たちは、文書内のチャート可視化から情報を理解し抽出する際の課題に対処するために、チャート可視質問応答(QA)タスクに関する包括的な研究を提示します。合成チャートを使用してこの問題に取り組む試みがなされていますが、アノテーション付き実世界データの不足により解決策は制限されています。このギャップを埋めるために、私たちは実世界のチャートに対するチャート可視QAのためのベンチマークとデータセットを導入します。これにより、タスクの体系的な分析とテンプレートベースのチャート質問作成の新しい分類法が提供されます。私たちの貢献には、「リスト」型という新しい回答形式が含まれており、順位付けされたものと未順位付けされたものの両方があります。本研究では、科学文献から得られた実世界のチャートデータセットを使用しており、他の研究よりも高い視覚的複雑さを示しています。主な焦点はテンプレートベースのQAであり、これがモデルの一階論理能力評価における基準となる可能性を探ります。私たちは実世界の分布外データセットで実験を行い、大規模事前学習モデルの堅牢な評価を提供するとともに、一般的に神経ネットワークにおけるチャート可視QAと形式論理検証の分野を推進しています。