このデータセットは 2024 年に Google Research とホプキンス大学の研究チームによって開始され、関連する論文結果は「SPIQA: 科学論文に対するマルチモーダルな質問応答のためのデータセット”。

研究の背景

長い科学研究論文の中で疑問に対する答えを見つけることは、読者が疑問をすぐに解決するのに役立つ重要な研究分野です。ただし、既存の科学論文ベースの質問応答 (QA) データセットはサイズが限られており、テキスト コンテンツのみに焦点を当てています。この限界に対処するために、研究チームは SPIQA (Scientific Paper Image Questioning) を立ち上げました。

データセットの概要

これは、コンピューター サイエンスのさまざまな分野の科学研究論文に含まれる複雑な図や表を解釈するために特別に設計された初の大規模な QA データセットです。マルチモーダル大規模言語モデル (MLLM) の専門知識とグラフを理解する能力を活用します。研究チームは、自動および手動のキュレーションを使用してデータセットを作成し、さまざまなチャート、表、概略図、および結果の視覚化をカバーする複数の画像を含む情報検索タスクを設計しました。 SPIQA には、トレーニング、検証、および 3 つの異なる評価パートに分かれた 270,000 の質問が含まれています。 12 のよく知られた基本モデルでの広範な実験を通じて、チームは、研究論文の微妙な側面を理解する現在のマルチモーダル システムの能力を評価しました。