PMC-CLIP：基于生物医学文献的对比语言-图像预训练

近年来，基于大规模数据集训练的预训练模型在计算机视觉（CV）和自然语言处理（NLP）领域取得了显著进展。然而，由于生物医学领域数据资源匮乏，该领域的模型发展仍远远落后。为解决这一问题，我们构建并发布了PMC-OA——一个包含160万张图像-标题配对的生物医学数据集，其规模是此前同类数据集的8倍。该数据集覆盖多种模态和疾病类型，且绝大多数图像-标题样本在更细粒度的层级上对齐，即以子图（subfigure）与子标题（subcaption）为单位进行配对。我们在PMC-OA上对类似CLIP架构的模型进行预训练，所提出的模型名为PMC-CLIP，在多个下游任务中均取得了当前最优性能，包括在ROCO数据集上的图像-文本检索任务、MedMNIST图像分类任务以及医学视觉问答（Medical VQA）任务，分别实现了图像-文本检索R@10指标提升8.1%、图像分类准确率提升3.9%。