基于BiomedCLIP-PubMedBERT的多模态方法用于内窥镜VCE图像分类

本文提出了一种先进的微调方法，用于优化多模态模型BiomedCLIP PubMedBERT，以实现对视频胶囊内镜（Video Capsule Endoscopy, VCE）图像帧中异常情况的分类，旨在提升消化道医疗诊断的效率。通过将PubMedBERT语言模型与视觉Transformer（Vision Transformer, ViT）相结合，对内镜图像进行处理，本方法可将图像划分为十类特定类别：血管扩张、出血、糜烂、充血、异物、淋巴管扩张、息肉、溃疡、寄生虫以及正常。我们的工作流程包括图像预处理，并对BiomedCLIP模型进行微调，以生成高质量的视觉与文本嵌入表示，通过相似性评分实现跨模态对齐，进而完成分类任务。性能评估指标（包括分类准确率、召回率和F1分数）表明，该模型在准确识别内镜图像中的异常方面表现出色，展现出在临床诊断中实际应用的巨大潜力。