PubMedVisionは、深圳ビッグデータ研究所、香港中文大学（深圳）、国立医療ビッグデータ研究所（深圳）が2024年に公開した医療マルチモーダル能力評価のためのデータセットです。関連論文の結果は「HuatuoGPT-Vision、マルチモーダル LLM への大規模な医療視覚知識の導入に向けて」は、医療分野における視覚知識の融合と推論パフォーマンスをテストするために、医療ビジョンテキスト理解タスクにおけるマルチモーダル大規模言語モデル（MLLM）の標準化されたテストリソースを提供することを目的としています。

このデータセットには、約130万件の医療用ビジュアル質問応答（VQA）サンプルが含まれており、これには647,031件のアラインメント済みVQAサンプルと、さらに647,031件の指示ベースの微調整VQAサンプルが含まれます。このデータは、厳選された914,960枚の医療画像と、それらに付随するコンテキスト（タイトルや本文中の引用など）から構成されており、様々な医療画像モダリティと解剖学的領域を網羅しています。各サンプルは、医学論文からの画像と説明文で構成されています。対応する画像の説明、質問、回答を生成するために、マルチモーダル大規模言語モデル（GPT-4Vなど）が使用されています。