HistGen: 지역-전역 특성 인코딩 및 교차 모달 컨텍스트 상호작용을 통한 조직병리학 보고서 생성

조직병리학은 암 진단의 금준(gold standard)으로 작용하며, 임상 보고서는 이 과정을 해석하고 이해하는 데 있어 필수적이며, 암 치료와 환자 관리를 안내하는 역할을 합니다. 딥러닝을 활용한 조직병리학 보고서 생성 자동화는 임상 효율성을 크게 향상시키고, 병리사가 보고서 작성에 소비하는 노동 집약적이고 시간이 많이 걸리는 부담을 줄일 수 있습니다. 이러한 발전을 위해, 우리는 조직병리학 보고서 생성과 함께 평가를 위한 첫 번째 벤치마크 데이터셋을 제공하는 다중 인스턴스 학습(multiple instance learning) 기반 프레임워크인 HistGen을 소개합니다.진단 및 보고서 작성 워크플로에서 영감을 얻어, HistGen은 전체 슬라이드 이미지(WSIs)와 진단 보고서를 지역적 및 전역적 세부도(local and global granularity)에서 일치시키기 위해 두 가지 정교하게 설계된 모듈을 특징으로 합니다. 이를 달성하기 위해, 지역-슬라이드 관점에서 시각적 특성을 효율적으로 집계하기 위한 지역-전역 계층적 인코더(local-global hierarchical encoder)가 개발되었습니다. 또한, 서로 다른 모달 간의 일치와 상호작용을 명시적으로 촉진하기 위한 크로스-모달 컨텍스트 모듈(cross-modal context module)이 제안되어, WSIs의 광범위한 시각적 시퀀스와 해당 요약 보고서 사이의 격차를 효과적으로 좁혔습니다.WSI 보고서 생성 실험 결과는 제안된 모델이 최신 연구(state-of-the-art, SOTA) 모델들보다 크게 우수함을 입증하였습니다. 더욱이, 우리의 모델을 암 하위 유형 분류(cancer subtyping) 및 생존 분석(survival analysis) 작업에 미세 조정(fine-tuning)한 결과 역시 SOTA 방법론보다 우수한 성능을 나타냈으며, 강력한 전이 학습(transfer learning) 능력을 입증하였습니다. 데이터셋, 모델 가중치 및 소스 코드는 https://github.com/dddavid4real/HistGen에서 이용 가능합니다.