基于深度学习的多模态融合模型，用于利用智能手机采集的临床图像和元数据进行皮肤病变诊断

引言：皮肤癌是发病率最高的癌症类型之一。开发一种面向公众的便捷工具，有助于实现恶性病变的早期筛查。本研究旨在构建一种深度学习模型，利用智能手机采集的临床图像及元数据对皮肤病变进行分类。方法：本研究设计了一种深度神经网络，包含两个编码器，分别用于提取图像数据与元数据中的信息。提出了一种多模态融合模块，融合了模态内自注意力机制与模态间交叉注意力机制，以高效整合图像特征与元特征。模型在公开数据集上进行训练与测试，并采用五折交叉验证法，与多种当前先进的方法进行对比。结果：实验表明，引入元数据可显著提升模型性能。本模型在准确率、平衡准确率以及受试者工作特征曲线下面积（AUC）三项指标上均优于其他元数据融合方法，平均值分别为0.768±0.022、0.775±0.022和0.947±0.007。结论：本研究成功开发了一种基于智能手机采集图像与元数据的深度学习皮肤病变诊断模型。所提出的模型展现出良好的性能，具备作为皮肤癌筛查潜在工具的应用前景。