摘要
胸部X光图像常用于预测急性及慢性心肺疾病，但将其与结构化的临床数据整合的努力因电子健康记录（EHR）的不完整性而面临挑战。本文介绍了MedPromptX，这是首个将多模态大语言模型（MLLM）、少量样本提示（FP）和视觉定位（VG）相结合的临床决策支持系统，旨在将影像学与EHR数据结合以进行胸部X光诊断。预训练的MLLM被用来补充缺失的EHR信息，从而提供患者病史的全面理解。此外，FP减少了对MLLM进行广泛训练的需求，同时有效解决了幻觉问题。然而，确定最佳的少量样本示例数量并选择高质量候选示例的过程可能较为繁琐，但其对模型性能的影响深远。因此，我们提出了一种新的技术，该技术可以动态精炼少量样本数据，以实现实时适应新患者情况。此外，VG缩小了X光图像中的搜索范围，从而提高了异常识别的准确性。我们还发布了MedPromptX-VQA，这是一个新的上下文视觉问答数据集，包含从MIMIC-IV和MIMIC-CXR-JPG数据库中提取的交错图像和EHR数据。结果显示，MedPromptX在F1分数上比基线方法提高了11%，达到了当前最优性能（SOTA）。代码和数据已在https://github.com/BioMedIA-MBZUAI/MedPromptX 公开发布。