17 天前

预训练规模对自然与医学X射线胸片图像域内及跨域全量与少样本迁移学习的影响

Mehdi Cherti, Jenia Jitsev
预训练规模对自然与医学X射线胸片图像域内及跨域全量与少样本迁移学习的影响
摘要

在语言建模与自然图像识别领域大量研究已表明,预训练阶段模型规模、数据规模以及计算资源的提升,能够显著增强模型的泛化能力与迁移学习性能。然而,大多数关于大规模预训练优势的研究均局限于域内(in-domain)设置,即源数据与目标数据在分布上较为接近。为系统考察在全量迁移(full-shot)与少样本迁移(few-shot)场景下,大规模预训练在域内与域外(out-of-domain)设置中的影响,本文首次将多个大规模、公开可用的医学X射线胸片数据集进行整合,构建了一个规模可与自然图像领域常用的ImageNet-1k相媲美的医学影像预训练数据集。在此基础上,我们开展了监督式预训练实验,系统性地调整网络规模、源数据规模及数据域类型,其中源数据既包括大规模自然图像数据集(ImageNet-1k/21k),也包括大规模医学胸片数据集。随后,我们将预训练模型迁移至各类自然图像或医学图像目标任务中进行评估。研究结果表明:在域内迁移任务中(自然图像→自然图像,医学图像→医学图像),大规模预训练带来了显著的性能提升。在跨域迁移任务(自然图像→医学图像)中,当目标为较大规模的X射线图像数据集时,大规模预训练在全量迁移设置下仍能带来可观的性能增益;然而,在目标数据较小或采用少样本迁移设置时,这种优势则不明显。尤为值得注意的是,使用极大规模的自然图像数据集(ImageNet-21k)预训练的大规模网络,在迁移到大规模X射线图像目标时,其性能与甚至优于在最大可用医学X射线数据集上预训练的模型。由此我们得出结论:在预训练阶段显著提升模型规模,并结合大规模、通用性强且不依赖特定医学领域的自然图像数据(如ImageNet-21k),可有效实现高质量的跨域迁移至医学领域特定任务,从而降低对大规模医学专用数据集的依赖——而这类数据在实际应用中往往难以获取。