PubMedVision は、深センビッグデータ研究所、香港中文大学、国家健康データ研究所の研究チームによって 2024 年に作成された大規模かつ高品質の医療マルチモーダル データセットであり、130 万の医療 VQA が含まれていますサンプル。関連する論文結果は「HuatuoGPT-Vision、マルチモーダル LLM への大規模な医療視覚知識の導入に向けて”。 このデータセットは、高度なデータ処理手法を使用して、PubMed 国際医学ジャーナルの記事から医療関連の画像と有益な画像の説明をフィルタリングして、多数の医療に無関係な画像や文脈的に無関係なコンテンツを効果的に除外します。グラフィックデータとテキストデータの整合性を改善するために、研究チームは大規模なビジュアルモデル（GPT-4V）を使用して画像を再記述し、10のシーンのダイアログを構築しました。グラフィックデータとテキストデータは質問に書き直されました。回答フォームを使用して、医療の視覚的知識を強化しました。

引用

@misc{chen2024huatuogptvisioninjectingmedicalvisual,
title={HuatuoGPT-Vision, Towards Injecting Medical Visual Knowledge into Multimodal LLMs at Scale},
author={Junying Chen and Ruyi Ouyang and Anningzhe Gao and Shunian Chen and Guiming Hardy Chen and Xidong Wang and Ruifei Zhang and Zhenyang Cai and Ke Ji and Guangjun Yu and Xiang Wan and Benyou Wang},
year={2024},
eprint={2406.19280},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2406.19280},
}