PointNu-Net: Keypoint-보조 컨볼루션 신경망을 이용한 다중 조직 핵 분할 및 분류

자동 핵 분할 및 분류는 디지털 병리학에서 중요한 역할을 합니다. 그러나 이전 연구들은 주로 다양성이 제한적이고 크기가 작은 데이터를 기반으로 이루어져 있어, 실제 하위 작업에서 결과가 의심스럽거나 오도할 수 있습니다. 본 논문에서는 '임상 현장'의 데이터를 처리할 수 있는 신뢰성 있고 견고한 방법을 구축하는 것을 목표로 합니다. 구체적으로, Hematoxylin과 Eosin (H&E) 염색 조직병리 데이터에서 핵을 동시에 감지, 분할, 분류하기 위한 새로운 방법을 연구하고 설계하였으며, 최근 가장 큰 데이터셋인 PanNuke를 사용하여 접근 방식을 평가하였습니다.우리는 각 핵의 중심점을 결정하기 위해 새로운 의미론적 키포인트 추정 문제로 핵의 감지와 분류를 다루었습니다. 그 다음, 동적 인스턴스 분할을 사용하여 핵 중심점에 대한 클래스 무관 마스크를 얻었습니다. 또한, 크로스 스케일 종속성을 모델링하여 더 나은 핵 감지와 분류를 위한 로컬 특징을 강화하기 위해 새로운 Joint Pyramid Fusion Module (JPFM)을 제안하였습니다. 두 가지 동시적인 어려운 작업을 분리하고 JPFM의 장점을 활용함으로써, 우리의 방법은 클래스 인식 감지와 클래스 무관 세그멘테이션으로부터 이익을 얻어 성능이 크게 향상됩니다.우리는 제안된 접근 방식이 19개 다른 조직 유형에 걸쳐 핵 세그멘테이션 및 분류에서 우수한 성능을 보이는 것을 입증하였으며, 새로운 벤치마크 결과를 제공하였습니다.