HyperAIHyperAI

Command Palette

Search for a command to run...

MedFuse:结合临床时间序列数据和胸部X光图像的多模态融合方法

Nasir Hayat Krzysztof J. Geras Farah E. Shamout

摘要

多模态融合方法旨在整合来自不同数据源的信息。与音频-视觉应用中的自然数据集不同,这些数据集中的样本由“配对”的模态组成,医疗健康领域的数据通常是非同步收集的。因此,对于临床任务而言,要求每个样本都具备所有模态信息是不现实的,并且在训练过程中会显著限制数据集的规模。本文提出了一种概念简单但前景广阔的基于LSTM的融合模块MedFuse,该模块可以处理单模态和多模态输入。我们评估了该融合方法,并在MIMIC-IV数据集中使用临床时间序列数据以及MIMIC-CXR中对应的胸部X光图像,为院内死亡率预测和表型分类引入了新的基准结果。与更为复杂的多模态融合策略相比,MedFuse在完全配对的测试集上提供了显著的性能提升,并且在部分配对测试集(包含缺失胸部X光图像的样本)中仍保持稳健。为了提高可重复性和便于未来评估竞争模型,我们发布了代码。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供