초대규모 병리학적 이미지 분석을 위해! 화중과학기술대학교, 쇼그렌증후군 진단 정확도 향상 위한 의료영상 분할 모델 제안

매일 입이 마르고, 눈이 마르고, 피부가 마르고, 설명할 수 없는 근육통과 전반적인 피로감이 동반됩니다. 위의 증상이 나타난다면, 겨울철 건조한 날씨 외에도 흔하지만 간과하기 쉬운 질병인 쇼그렌 증후군(SS)에도 주의해야 합니다.

쇼그렌 증후군은 외분비선으로의 림프구 침윤이 심한 것을 특징으로 하는 자가면역 질환입니다.우리나라에서는 약 500만 명이 이 질병을 앓고 있습니다. 질병의 초기 단계에서는 외분비선(타액선, 눈물선 등)이 고도로 침윤된 림프구에 의해 파괴되어 기능이 저하됩니다. 환자들은 종종 입과 눈이 건조해지는 증상을 경험하며, 양쪽 어깨 관절이 아픈 것과 같은 증상도 나타날 수 있습니다. 동시에 이 질병은 폐, 간, 신장 등 다른 중요한 장기에도 영향을 미치며 심지어 생식 능력에도 영향을 미칩니다.

쇼그렌 증후군은 조기에 발견하고 진단하는 것이 매우 중요하며, 국소성 림프구 침윤선염(FLS)은 쇼그렌 증후군 진단의 중요한 기준 중 하나입니다. 환자의 소타액선 병리조직을 채취하여 현행 진단기준에 따라 현미경 검사를 시행함으로써,조직 샘플 4mm2당 50개 이상의 림프구 응집체가 발견되면 일반적인 병변으로 간주했습니다.

하지만 완전한 병리학 스캔 이미지는 10만*10만 픽셀에 달할 수 있는데, 이는 약 10억 픽셀에 해당합니다. 의사는 전체 이미지를 주의 깊게 검사하고 림프구 응집 초점의 수를 결정해야 합니다. 이 방법은 시간이 많이 걸릴 뿐만 아니라 전문 의사의 경험과 주관적인 판단에 의존하는 경우가 많아 잘못된 진단이나 오진의 위험이 커집니다.

위의 과제를 해결하기 위해,화중과학기술대학의 투웨이 교수와 루펑 교수는 자율주행과 얼굴 인식 분야에서 잘 알려진 컴퓨터 비전 기술을 사용하여 의료영상 분할 모델인 M2CF-Net을 제안했습니다.M2CF-Net 모델은 다중 해상도와 다중 스케일 이미지 인식 기술을 통합하여 병리학적 이미지의 미묘한 차이를 "볼" 수 있을 뿐만 아니라 주요 바이오마커(림프구 응집 초점)를 정확하게 찾아서 계산하여 의사가 더 빠르고 정확한 진단을 내리는 데 도움을 줍니다.

연구 결과는 "M2CF-Net: 국소 림프구 시알라데니스의 병리 병변 분할을 위한 다중 해상도 및 다중 스케일 교차 융합 네트워크"라는 제목으로 2023 IEEE 의료 인공지능 국제 학술대회(MedAI)에서 발표되었습니다.

연구 하이라이트:

* 초대규모 조직병리학 이미지에서 미세한 림프구 클러스터를 식별하는 데 어려움이 있는 문제를 해결했습니다.

* 다중 해상도와 다중 스케일을 통합함으로써 M2CF-Net은 다른 세 가지 주류 의료 이미지 의미 분할 모델보다 성능이 뛰어납니다.

* M2CF-Net은 경계가 흐릿한 이미지, 작은 물체, 복잡한 질감을 처리하는 데 우수한 성능을 보입니다. 분할된 이미지는 더 복잡한 모양을 가지고 있으며 인간이 주석을 단 실제 결과와 매우 일치합니다.

서류 주소:
https://doi.ieeecomputersociety.org/10.1109/MedAI59581.2023.00063

오픈소스 프로젝트인 "awesome-ai4s"는 100개가 넘는 AI4S 논문 해석을 모아 방대한 데이터 세트와 도구를 제공합니다.

https://github.com/hyperai/awesome-ai4s

데이터 세트: 동지병원 임상 데이터

이 연구에서는 동지병원의 소타액선 병리학적 단면 데이터 세트를 사용했습니다.그중에서도, 원발성 쇼그렌 증후군 환자의 소타액선을 제거했습니다.
*소타액선은 인간의 구강과 인두의 점막 아래에 분포되어 있습니다. 구강점막의 기능은 타액을 분비하고, 구강을 촉촉하게 유지하고, 소화를 돕고, 구강 조직을 감염으로부터 보호하는 것입니다.

소타액선의 병적인 부분을 염색함으로써, 의사는 현미경으로 세포의 명확한 구조를 관찰할 수 있습니다. 구체적으로 연구자들은 품질 보증을 위해 모든 슬라이드를 검토하고 림프구 50개 이상이 샘 주변 4제곱밀리미터당 모여 있는 국소성 림프구 인두염의 존재를 확인했습니다. 병변이 있으면 표시합니다.

최종 데이터 세트는 171개의 양성 샘플(병변 특성을 충족)과 32개의 음성 샘플(병변 특성을 충족하지 않음)을 포함하여 203개의 샘플로 구성됩니다.연구자들은 이러한 샘플을 특정 비율로 훈련 세트, 검증 세트, 테스트 세트로 나누어 각각 모델 훈련, 조정, 성능 평가에 사용했습니다. 실제 과정에서 연구자들은 데이터를 사전 처리했는데, 이를 통해 계산량을 줄일 수 있었을 뿐만 아니라 모델의 일반화 능력도 향상되었습니다.

모델 학습의 첫 번째 단계를 최적화하기 위한 대규모 이미지 처리 파이프라인 설계

본 연구의 목적은 100,000*100,000의 해상도로 소타액선 조직 절편으로부터 국소성 림프구성 타액선염(FLS)의 병변 영역을 추출하는 것이다. 그러나 기가픽셀 이미지를 신경망에 직접 입력하여 학습시키는 것은 불가능합니다. 그 이유는 이러한 이미지가 너무 크고 컴퓨팅 리소스, 학습 시간, 기존 프레임워크 등이 이를 지원하기에 부족하기 때문입니다.

따라서 연구진은 초대규모 병리학 이미지 처리를 위한 파이프라인을 설계했습니다.파이프라인은 주로 관심 영역(ROI) 추출, 얼룩 정규화, 이미지 패칭(WSl 패칭)의 세 단계로 구성됩니다. 다음 그림과 같이:

1부: ROI 추출
병리학적 이미지에서 특정 조직 영역을 식별하는 정확도를 높이기 위해 연구자들은 처음에 합성 신경망(CNN) 기반 분류기를 사용했습니다. 그러나 분류기는 거품, 조각난 조직, 인공물과 같은 복잡한 특징을 처리하는 데 어려움을 겪었고, 그 결과 성능이 기대에 미치지 못했습니다. 이 문제를 해결하기 위해 연구팀은 다음과 같은 조치를 취했습니다.

* 수동 주석: 일부 샘플에 자세한 주석을 달았고, 데이터 세트를 풍부하게 한 후 분류 모델을 다시 훈련했습니다.

* 데이터 증강: 회전, 크기 조정, 이동과 같은 기술을 사용하여 훈련 데이터의 다양성을 높이고, 이를 통해 분류기의 정확도를 개선합니다.

2부: 염색 표준화
병리학 이미지 염색 표준화의 주요 목적은 다양한 출처의 이미지가 일관된 시각적 색상과 대비를 갖도록 하는 것입니다. 구체적으로, 염료 농도, pH 값, 온도, 시간 등의 요인의 영향으로 실제 염색 과정에서 염색이 고르지 않거나 강도가 일정하지 않은 문제가 자주 발생하여, 같은 종류의 조직이라도 시각적 효과가 다르게 나타나는 경우가 많습니다. 이러한 차이는 컴퓨터 비전 모델의 정확도에 영향을 미칠 수 있습니다.

이 문제를 해결하기 위해 연구진은 바하다네 알고리즘을 사용했습니다. 이 알고리즘은 원본 이미지의 색상 특성을 조정하여 대상 이미지와 유사하게 만들어 색상 표준화 효과를 얻습니다. 구체적으로 말하면, 소스 이미지와 대상 이미지 간의 색상 행렬 변환을 계산하여 소스 이미지의 색상 변환을 달성합니다.

3부: 이미지 분할
이는 ROI 추출 및 염색 정규화 이후에도 이미지 크기가 너무 커서 딥러닝 모델에 샘플을 입력하여 학습시킬 수 없는 문제를 해결하기 위한 것입니다. 연구진은 이미지를 겹치는 영역이 있는 작은 블록으로 나누기 위해 패치 기반 학습 방법을 채택했습니다. 이를 통해 모델 학습의 효율성이 향상되었을 뿐만 아니라 원래 정보도 유지되었습니다.

더 큰 관 근처에 있는 작은 림프구의 세부적인 특징을 분석하려면 더 넓은 시야에서 조직 수준의 특징을 포착해야 합니다. 그러나 분할 결과의 정확성을 보장하려면 더 작은 시야에서 세포 수준의 특징을 포착해야 합니다. 둘 사이의 균형을 찾는 것이 특히 중요합니다.

이를 위해 연구진은 다중 해상도 이미지 분할 방법을 고려했습니다. 이는 주로 원본 이미지를 여러 번 다운샘플링하고 다운샘플링된 이미지에서 동일한 크기의 이미지 블록을 추출하는 것을 포함합니다. 다양한 샘플링 배율의 이미지에서 잘라낸 이러한 패치는 시야 크기가 다르므로 조직 수준의 특징과 세포 수준의 특징을 모두 포착할 수 있습니다.

다중 해상도 및 다중 스케일 융합 모델, 효율적인 성능 향상

연구자들이 선택한 모델 M2CF-Net에는 다중 분기 인코더와 퓨전 기반 캐스케이드 디코더가 포함되어 있습니다.인코더는 다양한 스케일에서 다양한 해상도의 패치의 특징을 다운샘플링하는 반면, 디코더는 다중 분기 인코더에서 생성된 특징 맵을 융합하기 위해 계단식 융합 블록을 사용합니다.

구체적으로, 조직 수준과 세포 수준의 특징을 동시에 얻기 위해 연구진은 다양한 해상도의 이미지를 입력으로 받을 수 있는 전형적인 인코더-디코더 아키텍처 모델인 다중 분기 네트워크를 설계했습니다. 인코더에는 세 개의 입력 분기가 포함되어 있으며, 이를 통해 서로 다른 크기의 해상도 이미지를 받아들이고 인코딩 과정에서 서로 다른 시야의 피처 맵 조합을 생성합니다. 디코더는 계단형 퓨전 블록을 사용하여 인코더에서 생성된 피처 맵을 결합하여 최종 예측 맵을 출력할 수 있습니다.

이 과정에서 연구진은 공간적 주의와 채널 주의 메커니즘을 사용하여 입력 특징의 표현 능력을 향상시켰습니다. 마지막으로, BCEDice Loss는 모델의 손실 함수로 사용됩니다. 이 손실 함수는 이진 교차 엔트로피 손실과 다이스 손실을 가중시켜 모델의 최적화 방향을 효과적으로 안내할 수 있습니다.

실험 결론: M2CF-Net은 다른 세 가지 주류 의료 이미지 의미 분할 모델보다 성능이 뛰어납니다.

연구자들은 제안된 모델(M2CF-Net)을 다른 네 가지 인기 있는 의료 이미지 의미 분할 모델인 UNet, MSNet, HookNet, TransUNet과 비교했습니다. 연구 결과에 따르면 M2CF-Net 모델은 다중 해상도와 다중 스케일 특징을 활용하는 데 더 많은 이점이 있는 것으로 나타났습니다.
* UNet: 정확한 분할을 위해 다중 스케일 기능을 캡처하기 위해 인코더-디코더 구조를 사용합니다.

* MSNet: 기능 추출을 강화하고 분할 정확도를 개선하기 위해 다중 스케일 뺄셈 네트워크를 도입합니다.
* HookNet : Hook을 추가하여 다중 해상도 특징을 포착하고 활용하고, U-Net 구조를 강화하며, 의료영상에서 다양한 크기의 영상 분할을 효과적으로 처리합니다.

* TransUNet: Transformer 기반으로 자체 주의 메커니즘을 도입하여 분할 정확도를 향상시킵니다.

아래 그림에서 보듯이, 연구진은 M2CF-Net이 69.40%로 가장 높은 Dice를 달성했으며, 매개변수 수는 3위를 차지한 TransUNet의 절반에 불과하다는 것을 발견했습니다. 매개변수가 더 적은 UNet과 MSNet보다 각각 38.9%와 22.5% 더 높은 성능을 보였습니다.이 기술은 이미지에서 다양한 규모의 특징을 효과적으로 포착하고 융합할 수 있습니다.

구체적으로, M2CF-Net의 매개변수(Params) 수는 TransUNet과 HookNet보다 적지만 UNet과 MSNet보다 많습니다. 그 이유는 TransUNet이 CNN에 비해 매개변수가 더 많은 Transformer 아키텍처를 기반으로 하고, 단일 분기 디코더를 사용함으로써 M2CF-Net의 매개변수 수가 HookNet보다 적어지기 때문입니다. 그러나 M2CF-Net의 다중 분기 인코더 구조는 단일 분기 입력 네트워크에 비해 더 많은 매개변수를 발생시킵니다.

또한 심층분석을 거쳐연구 결과, M2CF-Net은 경계가 흐릿한 이미지, 작은 물체, 복잡한 질감을 처리하는 데 우수한 성능을 보이는 것으로 나타났습니다. 아래 그림에서 볼 수 있듯이, M2CF-Net의 분할 결과는 더 복잡한 모양을 가지고 있으며, 이는 인간이 주석을 단 실제 결과와 일치합니다.

컴퓨터 비전 기술은 의료 영상 분할에 혁신을 가져왔습니다.

의료 영상 분석은 질병 진단에 매우 중요합니다. 컴퓨터 기술을 사용하면 의료 영상을 정확하게 분할하고 병변 부위, 인체 장기, 감염 부위를 효과적으로 식별하여 진단 효율성을 높일 수 있습니다. 최근 들어 딥러닝 등 첨단 기술의 발전 덕분에 의료 영상 분할 기술은 수동 작업에서 자동 처리로 빠르게 전환되고 있으며, 특별히 훈련된 AI 시스템은 이제 의료 전문가에게 없어서는 안 될 보조 도구가 되었습니다.

화중과학기술대학교 동지의과대학 동지병원 류마티스내과 및 면역학과 부원장 투웨이 교수그는 류마티스 및 면역 질환의 진단과 치료 분야에서 20년 이상의 경험을 가지고 있으며, 쇼그렌 증후군에 대한 광범위한 진단 경험을 가지고 있습니다. 본 연구에서 투웨이 교수는 쇼그렌 증후군의 병리학적 진단 과정을 심층적으로 분석하고, 혼동하기 쉬운 핵심 사항을 지적하였으며, 실제 사례를 통해 다양한 상황에서의 진단 결과를 보여주었습니다. 쇼그렌증후군의 병리학적 진단법을 습득한 후,루 펑 교수의 팀은 컴퓨터 비전에서 이미지 분할 기술을 사용하여 진단 과제를 해결할 것을 제안했습니다.두 당사자는 첨단 AI 기술을 사용하여 쇼그렌 증후군 진단의 새로운 길을 열었습니다.
투웨이 교수의 개인 홈페이지:
https://www.tjh.com.cn/MedicalService/outpatient_doctor.html?codenum=101110

루펑 교수의 개인 홈페이지:
http://faculty.hust.edu.cn/lufeng2/zh_CN/index.htm

위에서 언급한 연구자들 외에도 의료 영상과 AI의 교차점에서 최첨단 연구에 전념하는 과학자들이 많이 있습니다.

예를 들어, 매사추세츠 공과대학 컴퓨터 과학 및 인공지능 연구소(MIT CSAIL)의 한 팀은 매사추세츠 종합병원과 하버드 의대의 연구자들과 협력하여 대화형 생물의학 이미지 분할을 위한 일반 모델인 ScribblePrompt를 제안했습니다.이 신경망 기반 분할 도구는 낙서, 클릭, 경계 상자와 같은 다양한 주석 방법을 사용하는 주석 작성자가 유연한 생물의학 이미지 분할 작업을 수행할 수 있도록 지원할 뿐만 아니라, 훈련되지 않은 레이블과 이미지 유형에도 우수한 성능을 발휘합니다.

저는 더욱 진보된 기술이 개발되어 임상에 적용됨에 따라 종양학, 신경학 등 여러 의학 분야가 혜택을 볼 것이며, 의료 영상 분석 분야도 더욱 밝은 발전 전망을 갖게 될 것이라고 믿습니다.