성능은 SAM 시리즈 모델보다 훨씬 뛰어납니다. 취리히 대학과 다른 연구진은 일반적인 3D 혈관 분할 기본 모델을 개발했고, 이는 CVPR 2025에 선정되었습니다.
인체를 거대한 도시에 비유한다면, 혈관은 의심할 여지 없이 이 도시의 '길'입니다. 동맥, 정맥, 모세혈관은 고속도로, 도시 도로, 시골 도로에 해당합니다. 이들은 혈액을 통해 영양소, 산소 등을 신체의 여러 부분으로 운반하는 역할을 하며, 이를 통해 이 "도시"의 효율적이고 안정적인 운영을 유지합니다. 그리고 이러한 도로에 문제가 생기면 사람들의 몸은 자연스럽게 질병에 걸리게 됩니다.
혈관 분할은 이러한 "도로"에 문제가 있는지 확인하는 중요한 수단입니다. 도시 건설 시 교통 영상을 통해 문제점을 발견하는 것처럼 의료 영상 처리에서도 중요한 작업입니다.혈관 분할은 의료 영상에서 혈관의 구조를 정확하게 식별하고 추출할 수 있습니다.다양한 혈관질환의 분석, 진단, 치료에 적용될 수 있습니다. 예를 들어, 심혈관 질환의 경우, 관상동맥을 분할하면 의사가 혈관 협착 정도를 평가하고 환자에게 적합한 치료 계획을 수립하는 데 도움이 됩니다.
최근 몇 년 동안, 혈관 분할은 컴퓨터와 의료 영상 기술의 도움으로 상당한 진전을 이루었습니다. 그러나 작업별 영상화, 특히 3D 혈관 분할의 경우 완전히 연결된 혈관을 정확하고 견고하게 분할하는 것은 여전히 어려운 문제로 남아 있습니다. 한편으로는 혈관 자체의 한계로 인해 발생합니다. 혈관의 복잡하고 작은 기하학적 모양으로 인해 분할이 급격히 어려워집니다.반면, 영상 방법과 프로토콜의 한계, 특정 신호 대 잡음비, 혈관 패턴, 영상 아티팩트, 배경 조직의 변화로 인해 상당한 도메인 격차가 발생합니다.
SAM(Segment Anything Model)과 3D 의료영상을 위한 SAM-Med3D, VISTA3D 등 기본 모델을 기반으로 하는 의료영상 분할 방법은 다양하지만,그러나 이러한 모델은 여전히 선박 분할 작업에 한계가 있습니다.따라서 3D 혈관 분할은 의료진과 연구자에게 여전히 노동 집약적인 작업으로 남아 있으며, 정확한 혈관 이미지 분석을 달성하기 위해 광범위한 수동 복셀 수준 주석이 필요합니다.
이 문제를 해결하기 위해 취리히 대학교, 취리히 연방 공과대학교, 뮌헨 공과대학교의 팀은 3D 선박 분할을 위해 특별히 설계된 기본 모델인 vesselsFM을 제안했습니다. 이 모델은 대규모 데이터 세트(Dreal)와 도메인 무작위화(Ddrand)를 통해 생성된 합성 데이터, 그리고 흐름 매칭 기반 생성 모델(Dflow)을 사용하여 학습되었습니다.이 제품은 제로샷, 싱글샷, 퓨샷 시나리오에서 기존의 고급 모델보다 우수한 세분화 및 일반화 기능을 구현할 수 있습니다.
관련 연구는 "vesselFM: 범용 3D 혈관 분할을 위한 기초 모델"이라는 제목으로 출판되었으며 CVPR 2025에 선정되었습니다.
연구 하이라이트:
이 연구는 연구원과 의료진이 "즉시 사용 가능"한 제로샷 및 일반화 기능을 갖춘 3D 혈관 분할을 위한 범용 기반 모델을 제안합니다.
* 팀은 신중하게 처리된 실제 3D 혈관 이미지와 일치하는 폭셀 수준 주석을 포함하여 가장 큰 3D 혈관 분할 데이터 세트를 큐레이팅했습니다.
* 이 연구에서는 3D 혈관 분할을 위한 세분화된 이웃 무작위화 전략을 제안하고 3D 의료 영상 생성에 흐름 매칭을 도입했습니다.
서류 주소:
https://go.hyper.ai/lVad9
데이터 세트: 3개의 이기종 데이터 소스
연구자들은 이를 훈련하기 위해 세 가지 이기종 데이터 소스를 사용했습니다.첫 번째는 다양한 실제 데이터를 포함하는 데이터 세트 Dreal(Diverse Real Data)입니다. 두 번째는 2개의 합성 데이터 소스입니다.이는 도메인 랜덤 데이터 세트 Ddrand(도메인 랜덤화)와 플로우 매칭 기반 생성 모델 Dflow(플로우 매칭 기반)에서 수집된 데이터입니다.
안에,Dreal은 현재까지 3D 혈관 분할 작업에 사용된 가장 큰 실제 데이터 세트입니다.다양한 유기체의 다양한 해부학적 영역을 포괄하는 광범위한 영상 모달리티17개 주석 소스에서 나온 128³개 모양의 3D 패치 115,000개 이상을 포함합니다.구체적으로, 광범위한 임상 영상에는 MRA, CTA, X선, 2광자 현미경, vEM이 포함되고, 생물학적 샘플은 사람과 실험용 쥐의 뇌, 신장, 간에서 채취하여 연구에 사용할 수 있는 다양한 구조적, 기능적 특성을 지닌 혈관 패턴을 제공합니다. 아래 그림과 같습니다.
Dreal 데이터세트 개요(4개의 검증 데이터세트를 포함한 23개의 데이터세트 통계)
그런 다음 연구자들은 다양한 유형의 조직, 영상 방법 및 프로토콜을 살펴보았습니다.Dreal은 23개의 데이터 세트로 더 세분화됩니다.각 데이터세트는 전처리되고 최종적으로 이미지와 해당 레이블에서 대상 모양이 128³인 패치가 추출됩니다.
데이터 예제 그래프
연구자들은 아래 그림에서 보듯이 Ddrand를 생성하기 위해 도메인 무작위화 전략을 도입했습니다. 이 방법은 실제 혈관 데이터에 일련의 공간 변환과 인공적 아티팩트를 적용하여 다양한 합성 이미지-마스크 쌍을 다수 생성함으로써 실제 데이터에 대한 모델의 견고성을 향상시킵니다.구체적으로는 전경 생성, 배경 생성, 배경 융합의 세 단계로 나눌 수 있습니다.
그림 a는 Ddrand를 생성하는 데 사용되는 도메인 난수 생성 파이프라인의 개략도입니다. 그림 b는 예시 다이어그램입니다.
잠재 고객 생성 단계에서연구진은 Wittmann 등이 제공한 250³ 모양의 혈관 패치 1,137개를 사용했습니다. 합성 마스크의 기초로 사용.이러한 혈관 플라크는 높은 정확도로 부식 주조물의 그래픽 표현에서 파생되었습니다.
연구자들이 채택한 주요 접근 방식은 무작위 자르기, 뒤집기, 확장 및 크기 조정, 무작위 탄성 변형, 이진 평활화와 같은 공간 변환을 통해 광범위한 현실적인 혈관 패턴을 생성하는 것입니다. 다음으로, 연구진은 바이어스 필드, 가우시안 노이즈, 가우시안 스무딩, 드롭아웃, 오프셋, 블러 등과 같은 아티팩트 변환을 선택하여 실제 혈관 이미지에 존재하는 다양한 전경 아티팩트를 시뮬레이션했습니다.
백그라운드 생성 단계에서,연구자들은 서로 다른 질감을 가진 다양한 배경 기하학을 포함하는 배경 이미지를 모델링했습니다.세 가지 주요 변형이 있습니다. 구형(겹치지 않는 구), 다면체(보로노이를 사용하여 이미지가 여러 다면체 영역으로 분할됨), 배경이 없는 기하학적 이미지입니다.
배경 융합 단계에서는연구자들은 폭셀 추가 및 뺄셈이나 배경 강도 값을 마스크 강도 값으로 대체하여 전경을 배경과 병합했습니다.이미지 영역을 확장하기 위해 연구진은 무작위 바이어스 필드를 사용하여 이미지를 지속적으로 향상시키고, 가우시안 잡음을 추가하고, k-공간에서 무작위 로컬 피크를 적용하고, 무작위로 이미지 대비를 조정하고, 모든 공간 차원의 개별 또는 공유 σ 값에 가우시안 평활화를 수행하고, 라이시안 잡음과 깁스 잡음을 추가하고, 무작위로 가우시안 선명화를 수행하고, 무작위로 강도 히스토그램을 변환하여 최종적으로 합성 이미지 Xdrand(위의 그림 b 참조)를 얻었습니다.
실제 데이터 Dreal의 분포를 더욱 풍부하게 하기 위해 연구진은 Flow Matching을 기반으로 한 조건부 생성 모델 F를 추가로 훈련하고 샘플링하여 세 번째 데이터 소스 Dflow를 생성했습니다. 아래 그림과 같습니다.
세 가지 데이터 소스의 분포도: Dreal(파란색 그림자), Dflow(빨간색 그림자), Ddrand(회색 그림자)
모델 아키텍처: 심층 생성 모델 및 도메인 무작위화 전략 소개
전반적인,vesselsFM은 다양한 방식과 조직 유형의 3D 혈관을 정확하게 분할할 수 있는 3D 혈관 분할을 위해 특별히 설계된 일반 기반 모델입니다.모델 설계 과정에서 연구진은 세 가지 이기종 데이터 소스를 통해 모델을 훈련시켜 강력한 세분화 및 일반화 기능을 구현했습니다.
vesselsFM 교육 및 응용 프로그램 개요
이 과정에서 연구자들은 두 가지 핵심 단계를 도입했습니다.이들은 각각 심층 생성 모델과 도메인 무작위화 전략입니다.위의 데이터 세트 소개 섹션에서는 도메인 무작위화 전략에 대해 자세히 설명합니다. 이 섹션에서는 Dflow 데이터 세트를 생성하는 데 사용된 딥 생성 모델에 중점을 둡니다.
심층 생성 모델은 합성 의료 영상을 생성하는 중요한 수단으로, 주로 확산 모델을 기반으로 하며, 대량의 고충실도 합성 데이터를 생성하는 데 사용됩니다. 이러한 데이터에 대한 분할 작업을 수행하려면 이미지 마스크 쌍을 정확하게 일치시키는 것이 필요합니다. Med-DDPM 및 SegGuidedDiff와 같은 방법은 이러한 과제를 해결하기 위해 설계되었습니다.그들은 채널별로 분할 마스크를 연결하여 모델 입력에 의미적 조건을 통합하여 일관된 해부학적 제약을 준수하는 이미지 마스크 쌍을 생성합니다.전자는 3D 뇌 영상 합성에 맞춰 설계되었으며, 후자는 2D 유방 MRI와 복부 CT 생성에 맞춰 설계되었습니다.
이 연구에서는연구자들은 확산 모델과는 다른 접근 방식을 취해 흐름 매칭이라는 생성 모델링 접근 방식을 사용했습니다.이 모델은 알려진 분포에서 목표 분포로 데이터가 연속적으로 변환되는 과정을 학습하여 새로운 샘플을 생성하는데, 이는 확산 모델에 비해 자연스러운 이미지에서 뛰어난 성능을 보여줍니다.
구체적으로 이 연구에서 생성 모델 F는 θ-매개변수화된 네트워크를 사용하여 학습된 시간 종속 속도장 v를 표현한 다음, 상미분 방정식(ODE)을 통해 샘플 x₀~N(0,I)를 데이터 분포의 샘플 x₁에 매핑합니다. 동시에, 모델 F를 훈련하기 위해 연구진은 예측 속도와 샘플링 실제 값 속도 사이의 시간 척도 손실을 최소화하기 위해 흐름 매칭 목표도 최적화했습니다.
또한, 학습 모델 F는 마스크 조건과 카테고리 조건도 채택합니다.마스크 컨디셔닝은 마스크 채널을 입력 이미지 xₜ와 연결하여 달성됩니다.연구자들은 클래스 정보를 통합하기 위해 시간 임베딩에 클래스 임베딩을 추가했고, 이 정보는 추가를 통해 중간 피처 계층에 주입되었습니다. Dflow를 생성하기 위해 연구진은 최종적으로 x₁를 오일러 적분을 통해 이산화하여 많은 수의 이미지 Xflow를 샘플링했습니다(아래 그림 참조).
그림 a는 Flow Matching을 기반으로 한 샘플링 과정을 보여줍니다. 그림 b는 예시 다이어그램을 보여줍니다.
실험 결과: 현재 가장 진보된 모델보다 성능이 더 좋습니다.
vesselsFM의 유효성과 신뢰성을 검증하기 위해,연구자들은 비교 평가를 실시했습니다.그리고 샘플이 없는 경우, 단일 샘플인 경우, 샘플이 적은 경우 등 다양한 시나리오에서 세분화 기능을 입증했습니다.
구체적으로,검증 단계에서는 SMILE-UHURA, MSD8, OCTA, BvEM의 4가지 임상 데이터 세트가 사용되었습니다.이러한 평가 데이터 세트에서 128³ 모양의 패치 3개를 추출하고 이를 사용하여 하나 또는 3개 패치 모두에 대한 단일 샷 및 소수 샷 분할 작업을 정의하여 모델을 미세 조정합니다. 나머지 데이터는 테스트와 검증에 사용됩니다. 제로샷 평가의 경우, 사전 미세 조정 없이 모델을 테스트 데이터에 직접 적용합니다.
동시에, 3D 혈관 분할을 위해 특별히 설계된 4개의 기본 모델이 비교 대상으로 사용되었습니다.이러한 솔루션은 tUbeNet, VISTA3D, SAM-Med3D 및 MedSAM-2입니다.
연구진은 단일 NVIDIA RTX A6000 GPU를 사용하여 모델 F에서 10,000개의 이미지 마스크를 샘플링하고 3일 만에 Dflow를 생성했습니다. Ddrand를 관리하기 위해 도메인 무작위 생성 파이프라인에서 각각 128³ 모양을 가진 500,000개의 이미지 마스크 쌍을 샘플링했습니다. 사용된 세 가지 데이터 소스의 가중치는 크기에 따라 대략적으로 설정됩니다. 즉, Ddrand(70%), Dreal(20%), Dflow(10%)입니다.
구체적인 결과는 아래 그림과 같습니다. vesselsFM은 4가지 데이터세트와 작업 모두에서 뛰어난 일반화와 탁월한 성능을 보여줍니다.제로샷 과제에서 MSD8 데이터세트를 기준으로, vesselsFM의 Dice 점수는 VISTA3D보다 5.86점 더 높습니다(VISTA3D는 11,454개 CT 데이터로 학습되었으며, 이 데이터에는 MSD8의 데이터가 포함되어 있습니다). 이는 vesselsFM의 강력한 귀납적 편향을 더욱 강조합니다.
4개의 검증 세트에 대한 비교 결과
이와 대조적으로, 일반적인 3D 혈관 분할 모델인 tUbeNet은 보다 복잡한 영상 모달리티에서는 좋은 성능을 발휘하지 못하며, 다른 두 가지 일반 분할 모델인 SAM-Med3D와 MedSAM-2는 제로샷 설정에서 혈관을 분할할 수 없습니다. SMILE-UHURA 데이터 세트에서, 제로샷 시나리오에서 vesselsFM의 Dice 및 clDice 점수가 몇 번의 샷 시나리오에서 기준 모델의 점수보다 더 높다는 점은 언급할 가치가 있습니다.정성적 결과는 주석자 특정 편향 없이 제로샷 맥락에서 vesselsFM의 우수한 일반화 능력을 보여줍니다.아래 그림과 같습니다.
일부 검증 세트에 대한 시각화 결과
딥러닝, 혈관 분할 연구의 새로운 길을 열다
요약하자면, vesselsFM 관련 연구는 의심할 여지 없이 3D 혈관 분할 연구의 진전을 촉진하고, 혈관 질환의 치료와 연구에 새로운 길을 제공했으며, 새로운 첨단 도구의 탄생과 응용을 촉진하고 궁극적으로 환자에게 혜택을 주는 목표를 달성할 것으로 기대됩니다.
다행스럽게도,이러한 노력을 하는 곳은 vesselsFM만이 아닙니다.딥러닝 기술이 발전하고 의료 데이터가 풍부해짐에 따라 인공지능을 통해 의료 영상을 처리하는 것이 현대 의료 개혁의 중요한 방향이 되었습니다. 점점 더 많은 실험실과 연구 기관이 이 분야에 주목하며, 인류가 직면한 혈관 질환의 과제를 자체 연구를 통해 해결하고자 합니다.
예를 들어, 중국 과학 아카데미의 한 팀은 "VesselSAM: LoRA와 Atrous Attention을 활용한 대동맥 혈관 분할을 위한 SAM 활용"이라는 제목의 연구를 발표했습니다. 이 연구에서는 VesselSAM이라는 이름의 향상된 버전의 SAM을 제안했습니다.대동맥 혈관 분할을 위해 특별히 설계되었습니다.이 모델은 홀 어텐션 모듈과 저랭크 적응(LoRA)을 통합합니다.SAM의 주요 한계가 해결되었고 의료 이미지에서 복잡한 계층적 특징을 포착하는 능력이 향상되었습니다.
서류 주소:https://arxiv.org/abs/2502.18185
중국 상하이 교통대학의 팀은 상하이 제일인민병원, 벨파스트 퀸스대학, 루이지애나 주립대학의 팀과 협력하여 "적대적 학습을 통한 자기 감독 혈관 분할"이라는 제목의 연구를 발표했습니다.본 연구에서는 적대적 학습을 통해 두 개의 생성기를 훈련하는 것을 제안합니다. 하나는 주의 유도 생성기이고 다른 하나는 분할 생성기입니다.관상동맥 조영술 이미지에서 가짜 혈관을 합성하고 혈관을 분할하여 혈관의 특징적 표현을 학습하게 합니다. 이 논문은 CVPR 2021에도 선정되었습니다.
포르투갈 리스본 대학의 팀과 포르투갈 가톨릭 대학의 팀도 혈관 분할에 대한 연구 결과를 발표했습니다.그들은 딥러닝을 기반으로 개발된 3D 망막 혈관 네트워크 자동 분할 및 정량화 소프트웨어인 3DVascNet을 제안했습니다.이 소프트웨어는 혈관을 정확하게 분할할 뿐만 아니라 혈관 밀도, 가지 길이, 혈관 반경, 가지 지점 밀도와 같은 혈관 형태학적 측정 매개변수를 정량화할 수도 있습니다. 더 중요한 점은 이 소프트웨어가 무료라는 것입니다.동시에, 강력한 일반화 능력은 의료진이 3차원 혈관 네트워크를 연구하는 능력을 더욱 향상시킵니다.관련 연구는 “3DVascNet: 3D로 마우스 혈관 네트워크를 분할하고 정량화하기 위한 자동화 소프트웨어”라는 제목으로 출판되었습니다.
서류 주소:https://www.ahajournals.org/doi/10.1161/ATVBAHA.124.320672
요약하자면, 의료 영상 처리에서 중요하고도 어려운 과제인 혈관 분할은 여전히 해결해야 할 문제가 많지만, 연구자들의 반복적인 시도를 통해 이러한 문제가 점차 해결되고 있다는 사실이 의심할 여지 없이 드러났습니다. 더욱 설득력 있는 것은 가까운 미래에 인공지능의 적용이 심화됨에 따라 혈관 질환이 점차 정복될 가능성이 있다는 것입니다.