摘要
多模态融合方法旨在整合来自不同数据源的信息。与音频-视觉应用中的自然数据集不同，这些数据集中的样本由“配对”的模态组成，医疗健康领域的数据通常是非同步收集的。因此，对于临床任务而言，要求每个样本都具备所有模态信息是不现实的，并且在训练过程中会显著限制数据集的规模。本文提出了一种概念简单但前景广阔的基于LSTM的融合模块MedFuse，该模块可以处理单模态和多模态输入。我们评估了该融合方法，并在MIMIC-IV数据集中使用临床时间序列数据以及MIMIC-CXR中对应的胸部X光图像，为院内死亡率预测和表型分类引入了新的基准结果。与更为复杂的多模态融合策略相比，MedFuse在完全配对的测试集上提供了显著的性能提升，并且在部分配对测试集（包含缺失胸部X光图像的样本）中仍保持稳健。为了提高可重复性和便于未来评估竞争模型，我们发布了代码。