摘要
图卷积网络(Graph Convolutional Networks, GCNs)是一种处理非欧几里得数据的新型且强大的方法,而卷积神经网络(Convolutional Neural Networks, CNNs)则擅长从图像等欧几里得数据中学习特征。本文提出了一种将CNN与GCN相结合的新方法(CNN-GCN),该方法能够同时利用欧几里得与非欧几里得特征信息,并支持端到端训练。我们将该方法应用于肺部血管树的动脉与静脉分离(A/V分离)任务。首先,对胸部CT扫描数据进行血管分割与骨架化预处理,由此构建图结构:将骨架上的体素作为节点集合,其连接关系以邻接矩阵表示。随后,从CT扫描中提取每个节点为中心的三维图像块,且方向垂直于对应血管的主轴。基于所构建的血管图结构,训练并应用所提出的CNN-GCN分类器,对图中每个节点进行动脉或静脉的标签预测。该方法在一所医院的临床数据上进行训练与验证(共11名患者,22个肺部),并在另一家医院的独立数据集上进行测试(10名患者,10个肺部)。为评估性能,将CNN-GCN方法与基线CNN方法及人工观察者表现进行对比。结果显示,CNN-GCN方法在验证集和测试集上的中位准确率分别为0.773和0.738,优于基线CNN方法(验证集0.727,测试集0.693),接近人工观察者的中位准确率(0.817)。综上所述,所提出的CNN-GCN方法融合了局部图像特征与图结构连通性信息,在肺部动脉与静脉分离任务中显著优于基线CNN方法,其性能已接近人类专家水平。