CellViT: 정밀한 세포 분할 및 분류를 위한 비전 트랜스포머

헤마토시린과 이오시닌으로 염색된(H&E) 조직 이미지에서 세포핵의 탐지 및 분할은 임상적으로 중요한 작업이며, 다양한 응용 분야에 필수적이다. 그러나 염색 및 크기의 다양성, 겹치는 경계선, 핵의 군집화 등으로 인해 이는 여전히 도전적인 과제이다. 기존에는 컨볼루션 신경망(CNN)이 이 작업에 널리 활용되었지만, 본 연구에서는 이 분야에서 Transformer 기반 네트워크의 잠재력을 탐색한다. 이를 위해 딥러닝 아키텍처인 비전 트랜스포머(Vision Transformer)를 기반으로 한 새로운 방법인 CellViT를 제안한다. CellViT는 19개의 조직 유형에서 약 20만 개의 주석이 부여된 세포핵을 5개의 임상적으로 중요한 클래스로 분류한, 가장 도전적인 세포핵 인스턴스 분할 데이터셋 중 하나인 PanNuke 데이터셋을 기반으로 학습 및 평가된다. 최근 발표된 Segment Anything Model과 1,040만 개의 조직 이미지 패치에서 사전 훈련된 ViT-인코더를 활용하여, 대규모 내부 도메인 및 외부 도메인 사전 훈련된 비전 트랜스포머의 우수성을 입증하며, PanNuke 데이터셋에서 최신 기술 수준의 세포핵 탐지 및 인스턴스 분할 성능을 달성하였다. 평균 팬오틱 품질(mAP)은 0.50, F1-탐지 점수는 0.83을 기록하였다. 관련 코드는 공개적으로 제공되며, https://github.com/TIO-IKIM/CellViT 에서 확인할 수 있다.