マルチモーダル ArXiv は、2024 年に香港大学と北京大学によって開始される予定です。関連論文は「マルチモーダル ArXiv: 大規模な視覚言語モデルの科学的理解を向上させるデータセット」の結果がACL2024に認められた。

このデータセットは、LVLM の科学的理解能力を強化するために ArXivCap と ArXivQA で構成されています。

ArXivCap は、さまざまな科学分野をカバーする 572,000 の ArXiv 論文から派生した、640 万の画像と 390 万のタイトルを含むグラフ タイトル データセットです。

研究チームは、ArXivCap から借用して、科学グラフに基づいて GPT-4V をプロンプトすることによって生成された質問応答データセットである ArXivQA を導入しました。 ArXivQA は、オープンソース LVLM の数学的推論機能を大幅に強化し、マルチモーダル数学的推論ベンチマークで 10.4% の絶対精度の向上を達成します。