VL-Healthは、医療におけるマルチモーダル理解と生成のための最初の包括的なデータセットであり、浙江大学、中国電子科技大学などのチームによって2025年に公開されました。関連する論文は以下の通りです。HealthGPT: 異種知識適応による理解と生成を統合する医療用大規模視覚言語モデル”。 このデータセットには、765,000 件の理解タスク サンプルと 783,000 件の生成タスク サンプルが統合されており、11 種類の医療モダリティ (CT、MRI、X 線、OCT など) と複数の疾患シナリオ (肺疾患から脳腫瘍まで) をカバーしています。

タスクの理解:

VL-Health は、VQA-RAD (放射線学の質問)、SLAKE (セマンティック注釈知識の強化)、PathVQA (病理学の質問と回答) などの専門的なデータ セットを統合し、LLaVA-Med や PubMedVision などの大規模なマルチモーダル データを補完して、モデルが基本的な画像認識から複雑な病理学の推論までの完全なチェーン機能を学習できるようにします。

タスクを生成します:

生成タスクは主に次の 4 つの方向に焦点を当てます。

• **モーダル変換:**SynthRAD2023のCT-MRIペアデータに基づいて、モデルのモダリティ間変換機能をトレーニングします。
• **超解像度:**IXI データセットの高解像度脳 MRI を使用して、画像詳細再構成の精度を向上します。
• **テキスト画像生成:**MIMIC-CXR に基づく X 線画像とレポート。テキスト記述から画像への生成を実現します。
• **画像再構成:**LLaVA-558k データセットを採用し、モデルの画像エンコード/デコード機能をトレーニングしました。 データセットの分類

引用

@misc{lin2025healthgptmedicallargevisionlanguage,
title={HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation},
author={Tianwei Lin and Wenqiao Zhang and Sijing Li and Yuqian Yuan and Binhe Yu and Haoyuan Li and Wanggui He and Hao Jiang and Mengze Li and Xiaohui Song and Siliang Tang and Jun Xiao and Hui Lin and Yueting Zhuang and Beng Chin Ooi},
year={2025},
eprint={2502.09838},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2502.09838},
}