Verknüpfung von convolutional neural networks mit graph convolutional networks: Anwendung bei der Trennung von Lungenarterien und -venen

Graph Convolutional Networks (GCNs) stellen eine neuartige und leistungsfähige Methode zur Behandlung nicht-euklidischer Daten dar, während Convolutional Neural Networks (CNNs) Merkmale aus euklidischen Daten wie Bildern lernen können. In dieser Arbeit stellen wir eine neue Methode vor, die CNNs mit GCNs zu kombinieren (CNN-GCN), die sowohl euklidische als auch nicht-euklidische Merkmale berücksichtigen kann und end-to-end trainiert werden kann. Diese Methode wurde angewandt, um die pulmonalen Gefäßbäume in Arterien und Venen (A/V) zu trennen. Thorax-CT-Aufnahmen wurden zunächst durch Gefäßsegmentierung und Skelettierung vorverarbeitet, aus denen ein Graph aufgebaut wurde: Die Voxel entlang der Skelette bildeten die Knotenmenge, und deren Verbindungen wurden in einer Adjazenzmatrix dargestellt. Aus den CT-Aufnahmen wurden 3D-Patches um jeden Knoten extrahiert, wobei diese senkrecht zur Gefäßachse ausgerichtet waren. Der vorgeschlagene CNN-GCN-Klassifikator wurde auf den aufgebauten Gefäßgraphen trainiert und angewandt, wobei jeder Knoten anschließend als Arterie oder Vene klassifiziert wurde. Die Methode wurde an Daten aus einer Klinik trainiert und validiert (11 Patienten, 22 Lungen) und an unabhängigen Daten einer anderen Klinik getestet (10 Patienten, 10 Lungen). Als Vergleich dienten eine Baseline-CNN-Methode und die Leistung menschlicher Beobachter. Die CNN-GCN-Methode erzielte eine Median-Accuracy von 0,773 (Validierung) bzw. 0,738 (Test), verglichen mit einer Median-Accuracy von 0,817 durch die Beobachter und 0,727 (Validierung) bzw. 0,693 (Test) durch die CNN-Methode. Insgesamt verbindet die vorgeschlagene CNN-GCN-Methode lokale Bilddateninformationen mit graphenbasierten Verbindungsstrukturen und verbessert die Trennung von Arterien und Venen im pulmonalen Gefäßsystem im Vergleich zur Baseline-CNN-Methode und nähert sich der Leistung menschlicher Beobachter an.