Command Palette
Search for a command to run...
MedSAM3: 의료 개념을 통한 Anything에 대한 세그먼트 탐구
MedSAM3: 의료 개념을 통한 Anything에 대한 세그먼트 탐구
Anglin Liu Rundong Xue Xu R. Cao Yifan Shen Yi Lu Xiang Li Qianqian Chen Jintai Chen
초록
의료 영상 분할은 생물의학적 발견의 핵심 요소이다. 기존의 방법들은 일반화 능력이 부족하며, 새로운 임상 적용을 위해 광범위하고 시간이 오래 걸리는 수동 레이블링을 요구한다. 본 연구에서는 의료 영상 및 영상 영역 분할을 위한 텍스트 프롬프트 가능 의료 분할 모델인 MedSAM-3을 제안한다. 세그먼트 애니웨어 모델(Segment Anything Model, SAM) 3 아키텍처를 의료 영상과 의미론적 개념 레이블 쌍으로 미세 조정함으로써, MedSAM-3은 의료 프롬프트 가능한 개념 분할(Promptable Concept Segmentation, PCS)을 가능하게 하여, 단순한 기하학적 프롬프트에 의존하는 것이 아니라 개방형 어휘(Open-vocabulary) 텍스트 설명을 통해 해부학적 구조를 정밀하게 타겟팅할 수 있다. 또한, 멀티모달 대규모 언어 모델(Multimodal Large Language Models, MLLMs)을 통합하여 복잡한 추론과 반복적 정교화를 수행하는 에이전트-인-더-루프 워크플로우를 구현한 MedSAM-3 에이전트를 제안한다. X-선, MRI, 초음파, CT 및 영상 영역을 포함한 다양한 의료 영상 모달리티에 걸쳐 수행된 종합적인 실험 결과, 기존의 전문 모델 및 기초 모델들을 상회하는 우수한 성능을 입증하였다. 본 연구의 코드 및 모델은 https://github.com/Joey-S-Liu/MedSAM3 에서 공개될 예정이다.