18 天前

基于公开数据的复现研究:用于视网膜眼底照片中糖尿病视网膜病变检测的深度学习算法的开发与验证

{Kajsa Møllersen, Mike Voets, Lars Ailo Bongo}
基于公开数据的复现研究:用于视网膜眼底照片中糖尿病视网膜病变检测的深度学习算法的开发与验证
摘要

我们尝试使用公开可用的数据集复现发表于《JAMA》2016年第316卷第22期的论文《基于深度学习算法在眼底照相中检测糖尿病视网膜病变的开发与验证》中的研究结果。由于原始研究的源代码未公开,我们重新实现了其中的核心方法。原研究使用了来自EyePACS及印度三家医院的非公开眼底图像进行训练,而我们则采用了来自Kaggle平台的另一组EyePACS数据集。原研究以Messidor-2作为基准数据集评估算法性能,但由于原始Messidor-2数据集现已不可用,我们改用其另一版本的数据分布进行测试。在原研究中,眼科医生对所有图像进行了糖尿病视网膜病变、黄斑水肿及图像可判读性三个方面的重新评级;而在本研究中,我们仅采用每张图像一个糖尿病视网膜病变等级标签,并自行评估图像的可判读性。使用公开数据集,我们未能复现原研究的结果。我们的算法在Kaggle EyePACS测试集上的受试者工作特征曲线下面积(AUC)为0.951(95%置信区间:0.947–0.956),在Messidor-2数据集上的AUC为0.853(95%置信区间:0.835–0.871),远低于原研究报道的两个测试集上均达到0.99的AUC值。这一差异可能源于单次评级标签的使用,或所用数据集的不同。本研究凸显了复现深度学习方法研究成果所面临的挑战,也表明亟需开展更多复制与再验证研究,以进一步验证深度学习方法在医学图像分析中的可靠性与有效性。我们的源代码及使用说明已发布于:https://github.com/mikevoets/jama16-retina-replication。