17 天前

基于视觉-语言对齐的粗到精新冠肺分割

Dandan Shan, Zihan Li, Wentao Chen, Qingde Li, Jie Tian, Qingqi Hong
基于视觉-语言对齐的粗到精新冠肺分割
摘要

新冠肺炎病灶的分割有助于医生更准确地进行诊断与治疗。然而,由于现有新冠肺炎数据集缺乏详细信息及高质量的标注,相关研究仍较为有限。为解决上述问题,本文提出一种基于视觉-语言对齐的粗到细分割框架C2FVL,该框架通过融合包含病灶数量及具体位置的文本信息与图像信息,实现更精准的病灶分割。引入文本信息使网络在复杂数据集上能够获得更优的预测性能。我们在两个新冠肺炎数据集(包括胸部X光片和CT图像)上进行了大量实验,结果表明,所提出的C2FVL方法在分割性能上优于现有的各类先进方法。