컨볼루셔널 신경망과 그래프 컨볼루셔널 신경망을 연결하는 방법: 폐동맥-정맥 분리에의 응용

그래프 컨볼루션 네트워크(GCNs)는 비유클리드 데이터 처리를 위한 혁신적이고 강력한 방법이며, 반면 컨볼루션 신경망(CNNs)은 이미지와 같은 유클리드 데이터로부터 특징을 학습할 수 있다. 본 연구에서는 CNN과 GCN을 결합하는 새로운 방법(CNN-GCN)을 제안하며, 이는 유클리드 및 비유클리드 특징을 동시에 고려할 수 있고, 엔드투엔드(end-to-end)로 학습이 가능한 점이 특징이다. 제안된 방법은 폐 혈관 나무를 동맥과 정맥(A/V)으로 분리하는 데 적용되었다. 흉부 CT 스캔은 혈관 세그멘테이션과 스켈레톤화를 통해 사전 처리되었으며, 이로부터 그래프가 구축되었다. 스켈레톤 상의 복셀들이 정점 집합으로, 그 연결 관계는 인접 행렬로 표현되었다. 각 정점 주위의 3차원 패치는 혈관에 수직 방향으로 정렬되어 CT 스캔에서 추출되었으며, 제안된 CNN-GCN 분류기는 구축된 혈관 그래프에 적용되었다. 각 노드는 동맥 또는 정맥으로 레이블링되었다. 제안된 방법은 한 병원의 데이터(11명 환자, 22개 폐)를 사용하여 학습 및 검증하였으며, 다른 병원의 독립된 데이터(10명 환자, 10개 폐)를 사용하여 테스트하였다. 기준 CNN 방법과 인간 관찰자의 성능을 비교하기 위해 사용하였다. CNN-GCN 방법은 검증 세트에서 중앙 정확도가 0.773, 테스트 세트에서 0.738을 기록하였으며, 인간 관찰자는 중앙 정확도 0.817을 달성하였고, 기준 CNN 방법은 각각 0.727과 0.693의 정확도를 보였다. 결론적으로, 제안된 CNN-GCN 방법은 국소적인 이미지 정보와 그래프의 연결성 정보를 결합하여, 기준 CNN 방법에 비해 폐 동맥 및 정맥 분리 성능을 향상시켰으며, 인간 관찰자의 성능에 근접하는 결과를 도출하였다.