AAAI 2025에 선정된 Zhejiang University는 디지털 병리학 이미지를 사용하여 유전자 발현을 정확하게 예측하는 다대일 회귀 모델 M2OST를 제안했습니다.
전체 슬라이스 병리학 이미지(WSI)로서, 디지털 병리학 이미지는 조직 절편을 고해상도로 디지털로 표현하고 세포 형태, 구조 및 공간 분포 특성을 종합적으로 표시할 수 있습니다. WSI는 기존의 유리 슬라이드와 비교했을 때 보관과 분석이 쉬울 뿐만 아니라, 다양한 크기에서 보다 직관적인 조직 보기를 제공합니다. 따라서 병리학적 진단과 생물의학 연구에 점점 더 많이 사용되고 있습니다. 연구자들은 이러한 이미지를 분석하여 세포의 공간적 구성과 유전자 발현 사이의 본질적인 연관성을 탐구하고, 이를 통해 다세포 시스템에서 복잡한 전사 조절 메커니즘을 밝혀낼 수 있습니다.
최근 몇 년 동안, 단일 세포 RNA 시퀀싱의 공간적 확장 기술인 공간 전사체학(ST)은 세포 아형의 분포, 상호작용 및 분자적 메커니즘을 연구하는 중요한 도구가 되었습니다. 그러나 ST 기술은 장비와 시약 비용이 많이 들기 때문에 실제 응용 분야에서 대중화하는 데는 여전히 어려움을 겪고 있습니다. 이에 비해 WSI는 임상 적용에 있어 경제적이고 접근성이 뛰어납니다. 따라서 딥러닝의 도움을 받아 저비용으로 WSIs로부터 ST 맵을 재구성하는 방법이 많은 주목을 받는 연구 방향이 되었습니다.
기존 방법의 대부분은 ST 예측 문제를 전통적인 회귀 문제로 간주하고 학습을 위해 단일 레벨 이미지-레이블 쌍을 사용합니다. 이로 인해 최대 배율의 이미지에 대해서만 유전자 발현 관계를 모델링하게 되어 WSI의 고유한 다중 스케일 정보가 낭비됩니다.
이 문제를 바탕으로,중국 저장대학의 린란펀 교수 연구팀은 저장 항저우 지장 연구실과 일본 리츠메이칸 대학과 공동으로 M2OST를 제안했습니다. 이는 다양한 수준의 병리학적 이미지를 사용하여 유전자 발현을 공동으로 예측하는 것을 목표로 하는 다대일 회귀 변환기 모델입니다.WSI의 샘플링 지점과 다중 스케일 피처의 시각적 정보를 통합함으로써, 이 모델은 더 정확한 ST 맵을 생성할 수 있습니다. 또한 연구팀은 다대일 다층 특징 추출 프로세스를 계층 내 특징 추출과 계층 간 특징 추출로 분리하여 계산 비용을 크게 줄이고 모델 성능에 영향을 주지 않으면서 계산 효율성을 최적화했습니다.
관련 결과는 "M2OST: 디지털 병리학 이미지에서 공간 전사체 예측을 위한 다대일 회귀"라는 제목으로 AAAI 2025에 선정되었습니다.
연구 하이라이트:* ST 예측 문제를 다대일 모델링 문제로 개념화하고 계층적 WSI에 내장된 다중 스케일 정보와 점 간 기능을 사용하여 ST 맵을 공동 예측합니다. * 다양한 시퀀스 길이의 입력 세트에 견고한 다대일 회귀 기반 Transformer 모델 M2OST를 제안합니다.
* M2OST의 다중 스케일 기능 추출 프로세스를 계층 내 기능 추출과 계층 간 기능 추출로 분리하여 모델 성능에 영향을 주지 않고 계산 효율성을 크게 향상시킵니다.
* 제안된 M2OST 방법에 대한 포괄적인 실험을 수행하였고, 3개의 공개 ST 데이터세트에서 그 효과가 입증되었습니다.
서류 주소:
https://hyper.ai/cn/sota/papers/2409.15092
에 집중하다 하이퍼알위챗 공개 계정에서 백스테이지에서 "M2OST"를 답글로 남겨주시면 전체 PDF를 받아보실 수 있습니다.
오픈소스 프로젝트인 "awesome-ai4s"는 200개 이상의 AI4S 논문 해석을 모아 방대한 데이터 세트와 도구를 제공합니다.
https://github.com/hyperai/awesome-ai4s
데이터 세트: 3개의 ST 데이터 세트를 사용하여 효과를 입증합니다.
연구팀은 제안된 M2OST 모델의 성능을 평가하기 위해 3개의 공개 ST 데이터 세트를 사용했습니다.
*인간 유방암 데이터 세트(HBC):여기에는 68개 WSI에 30,612개의 유전자좌가 포함되어 있으며, 각 유전자좌에는 최대 26,949개의 서로 다른 유전자가 있습니다. 이 데이터 세트의 점들은 직경이 100μm이고, 중심 간격이 200μm인 격자에 배열되어 있습니다.
*인간 양성 유방 종양 데이터 세트(HER2):이는 36개의 병리학적 이미지와 13,594개의 포인트로 구성되어 있으며, 각 포인트에는 15,045개의 기록된 유전자 발현 데이터가 포함되어 있습니다. 이 데이터 세트에서 ST 데이터의 각 캡처된 지점 사이의 중심 거리는 200μm이고, 각 지점의 직경은 100μm입니다.
*인간 피부 편평세포암 데이터 세트(cSCC):12개의 WSI와 8,671포인트가 포함되어 있습니다. 이 데이터 세트의 각 위치에서 16,959개의 유전자가 분석되었습니다. 모든 점의 직경은 110μm이고, 중심 거리가 150μm인 중간 직사각형 배열로 배열되어 있습니다.
M2OST 모델: 다대일 회귀 구조, 다층 병리학적 이미지를 공동으로 유전자 발현을 예측
최근 몇 년 동안, 전체 슬라이스 병리학 이미지(WSI)에서 공간 전사체(ST) 프로파일을 예측하는 것이 디지털 병리학 분야의 연구 핫스팟이 되었습니다. ST-Net 및 DeepSpaCE와 같은 초기 방법은 합성곱 신경망(CNN)을 기반으로 이미지 패치 수준에서 ST 예측을 수행합니다. 최근 출시된 이중 모드 임베딩 프레임워크인 BLEEP은 WSI 이미지 패치 피처를 ST 포인트 임베딩과 정렬하는 대조 학습 전략을 도입하고 추론 단계에서 배치 효과 문제를 완화하기 위해 K 최근접 이웃 알고리즘을 도입했습니다.
트랜스포머 기반 모델의 등장으로 그 성능이 기존 CNN을 능가했습니다. 딥러닝 모델 HisToGene은 처음으로 유전자 발현 예측에 Transformer를 도입하여 슬라이드 수준 모델링을 달성하고 효율성을 개선했지만 여전히 컴퓨팅 리소스에 제한이 있었습니다. Hist2ST 모델은 CNN, Transformer, 그래프 신경망을 통합하여 장거리 종속성을 더욱 정확하게 포착합니다.그러나 복잡한 모델 구조로 인해 과잉적합의 위험이 증가합니다.
샘플링 지점 간의 상관관계에 초점을 맞춘 주류 아이디어와 달리, 계층적 이미지 특징 추출을 기반으로 하는 방법인 iStar는 샘플링 지점 내의 유전자 발현이 해당 이미지 블록 영역에만 관련이 있다는 점을 강조하고, 특징 추출을 위해 사전 학습된 HIPT를 사용하고, MLP를 통해 발현 값에 매핑하여 뛰어난 성능을 보입니다.하지만 해당 기능은 학습이 불가능하므로 더욱 최적화할 여지가 있습니다.
이에 영감을 받은 연구팀은M2OST는 또한 이미지 블록 수준 솔루션을 사용합니다.각 예측의 독립성과 정확성을 보장하기 위해 한 번에 하나의 샘플 지점을 예측합니다.연구팀은 또한 iStar의 아이디어를 더욱 확장하여 학습 가능한 다중 스케일 기능 추출 및 융합 모듈 세트를 설계했습니다. 지역적 영역에 대한 세부적인 모델링과 규모 간 정보 통합을 통해 복잡한 조직 구조 하에서 모델의 예측 능력이 향상되었습니다.
아래 그림에서 보듯이, 서로 다른 전체 슬라이스 병리학 이미지(WSI) 레벨의 세 가지 이미지 패치 시퀀스를 모델에 입력하여 해당 부위의 유전자 발현을 공동으로 예측합니다.
3개의 다른 레벨에서 병리학적 이미지 블록을 수신한 후,먼저, M2OST는 이를 DPE(Deformable Block Embedding) 레이어에 공급합니다.적응형 토큰 생성을 달성합니다. DPE는 각 이미지에서 기본 병리 패치를 추출할 뿐만 아니라, 고수준 병리 이미지에 더 큰 크기의 패치를 도입하여 더 광범위한 맥락적 정보를 포착합니다.
동시에 DPE는 샘플링 지점의 중앙 영역의 특징에 대한 모델의 초점을 강화하기 위해 세분화된 지점 내 토큰과 거친 주변 토큰을 생성하여 다대일 모델링 과정에서 지점 간 특징을 강조하고 이후의 표현 예측을 위한 보다 세분화되고 구조화된 특징 표현을 제공합니다.
M2OST 모델 다이어그램
M2OST에서 사용되는 DPE
그런 다음 각 시퀀스에 cls 토큰을 추가하고 그림의 PE에 표시된 대로 학습 가능한 위치 인코딩을 도입합니다. M2OST는 ITMM(Inner Token Hybrid Module)을 사용하여 각 시퀀스의 계층 내 기능을 추출합니다. ITMM은 Vision Transformer 아키텍처를 기반으로 구축되었으며, 이미지 모델링 과정에서 모델의 일반화 능력을 향상시키기 위해 랜덤 마스크 셀프 어텐션 메커니즘(Rand Mask Self-Attn)을 도입했습니다.
ITMM의 네트워크 구조
계층 내 기능 추출이 완료된 후, M2OST는 다중 계층 시퀀스 간의 계층 간 정보 상호 작용을 촉진하기 위해 계층 간 토큰 혼합 모듈(CTMM)을 도입합니다.CTMM은 다중 스케일 입력 시퀀스의 길이 차이로 인해 직접 융합으로 인해 발생하는 정보 왜곡을 방지하는 동시에 각 스케일 분기의 매개변수의 상대적 독립성을 유지하기 위해 완전히 연결된 교차 계층 주의 메커니즘을 도입합니다.이후, 채널 수준에서 크로스 레이어 정보 교환 역량을 강화하기 위해 M2OST는 CTMM 이후에 크로스 레이어 채널 믹싱 모듈(CCMM)을 도입했습니다.
CCMM은 시퀀스 길이에 민감하지 않은 구조 설계를 채택합니다.CTMM은 다양한 계층 간의 주의 유사성과 학습 가능한 가중치를 기반으로 교차 스케일 상황 정보를 동적으로 통합하고 동일한 모양의 다층 시퀀스를 출력합니다.먼저, 각 계층의 시퀀스에 대해 전역 평균 풀링을 수행하여 시퀀스 정보를 토큰 표현으로 압축합니다. 그런 다음, 다양한 계층의 토큰을 결합하고, 스퀴즈 인센티브 메커니즘(Squeeze & Excitation)과 함께 교차 계층 채널 주의 점수를 계산합니다. 그런 다음 이러한 점수는 각각의 입력 시퀀스에 다시 매핑되어 채널 수준의 교차 규모 정보 교환이 완료됩니다.
(a) CTMM의 네트워크 구조. (b) CCMM의 네트워크 구조.
이러한 다중 스케일 기능 모델링 프로세스는 전체적으로 M2OST의 인코더 모듈을 구성하며, 네트워크 전체에서 N번 반복되어 공간 전사체 예측에 필요한 다중 레벨의 고도로 표현력 있는 이미지 표현을 점진적으로 풍부하게 합니다.마침내,3개의 cls 토큰은 연결되어 ST 지점 예측을 위한 선형 회귀 헤드에 입력됩니다.
실험 결과: 다차원 평가를 통해 M2OST 모델의 효과성이 입증되었습니다.
연구팀은 여러 데이터 세트에서 M2OST의 성능을 다양한 주류 방식과 종합적으로 비교했습니다. 실험 결과는 다음 표에 나타나 있다.M2OST는 더 적은 매개변수와 더 적은 FLOP로 더 뛰어난 성능을 달성합니다.ST-Net과 비교했을 때, M2OST의 매개변수 수는 0.40M 감소하고, FLOP는 0.63G 감소했으며, HER2+ 및 cSCC 데이터 세트에 대한 M2OST의 피어슨 상관 계수(PCC)는 각각 1.16% 및 1.13% 향상되었습니다.
M2OST와 다른 방법의 비교 실험 결과
M2OST와 일대일 다중 스케일 방법의 비교:
연구팀은 또한 M2OST를 CrossViT 및 HIPT/iStar와 같은 일반적인 일대일 다중 스케일 방법과 비교했습니다. CrossViT는 표준 ViT에 비해 더 강력한 ST 회귀 기능을 보여주며, 이 작업에서 다중 규모 정보를 통합하는 데 상당한 이점이 있음을 확인시켜 줍니다. 그러나 CrossViT는 점 내 정보를 모델링하는 데 있어 특정 한계가 있으며, 전반적인 성능은 여전히 M2OST보다 낮습니다.
게다가 iStar는 ST 예측 정확도 측면에서 좋은 성과를 보이며, WSI에서 다중 스케일 특징을 추출하는 데 있어 HIPT 아키텍처의 효율성을 보여줍니다. 그러나 iStar는 계산 비용을 절감하기 위해 ST 예측을 위한 WSI 기능을 생성하기 위해 고정된 HIPT 가중치를 사용하는데, 이는 기능 추출 기능을 제한합니다. 동시에 추론 효율성 측면에서 iStar의 블록별, 스케일별 추출 프로세스는 처리 시간을 크게 증가시킵니다. 연구 결과에 따르면 동일한 GPU 메모리 제한에서 실행할 경우 M2OST의 추론 속도는 iStar보다 약 100배 빠르며 성능도 iStar보다 우수합니다. 이는 ST 회귀 작업에서 종단 간 학습의 잠재력과 M2OST 모델의 효율성을 충분히 보여줍니다.
이미지 패치 수준과 슬라이드 수준 ST 방법의 비교:
실험 결과에 따르면, 세 가지 데이터 세트에 대한 슬라이드 수준 방법의 성능은 일반적으로 이미지 블록 수준 방법의 성능보다 떨어지는 것으로 나타났습니다. Hist2ST가 HisToGene보다 더 나은 성능을 보여주지만, 매개변수의 수가 많고 FLOP가 높기 때문에 이러한 성능 향상은 미미합니다. ST-Net과 같은 기준 이미지 블록 수준 방법과 비교했을 때, 세 가지 데이터 세트에 대한 Hist2ST의 PCC는 각각 2.78%, 2.99% 및 2.66%만큼 감소했습니다. 이는 한 지점의 유전자 발현이 주로 해당 조직 영역과 관련이 있으며, 지점 간 상관관계를 도입해도 예측 정확도가 크게 향상되지 않는다는 것을 나타냅니다. 그럼에도 불구하고 슬라이드 수준 방법은 완전한 ST 맵을 생성하는 데 여전히 효율적이며, 앞으로 네트워크 설계를 최적화하여 경쟁력 있는 회귀 정확도를 달성할 가능성이 여전히 있습니다.
시각적 분석:
(a) 주성분 분석(PCA) 후 공간 전사체(ST) 프로파일의 시각화. (b) DDX5 유전자의 공간 분포 시각화.
연구팀은 ST 맵 예측에 있어 다양한 방법의 시각화 결과를 분석하고 비교했다. 결과에 따르면 슬라이드 수준 방법(HisToGene 및 Hist2ST 등)은 일반적으로 더 매끄러운 지도를 생성할 수 있는 반면, 이미지 블록 수준 방법은 더 명확한 지역적 구조적 특징을 유지합니다.
M2OST는 항상 더 정확한 ST 맵을 생성할 수 있어 예측 정확도가 더 높다는 점이 주목할 만합니다. 연구팀은 β-카테닌 신호전달 경로를 활성화하여 비소세포암세포의 증식과 종양 형성에 중요한 역할을 하는 핵심 유전자 DDX5의 발현을 더욱 자세히 시각화했습니다. 결과에 따르면 M2OST는 이 유전자를 예측하는 데 가장 좋은 성능을 보였으며, 비교 대상인 모든 방법보다 우수한 성능을 보여 단일 유전자 발현 예측 수준에서 M2OST 모델의 정확성이 검증되었습니다.
공간 전사체학의 획기적인 진전과 교차 도메인 응용
세포 기능과 조직 구조를 연결하는 다리 역할을 하는 공간 전사체학은 시간과 공간에 따른 개별 세포의 유전자 발현 패턴을 분석하고 세포 집단의 공간적 위치와 생물학적 특성을 밝혀낼 수 있으며, 이를 통해 생물의학 연구가 더욱 심층적으로 진행되고 있습니다.
이 지역에서는 2025년 4월까지일본 도쿄대학교 의학연구소 연구팀은 이미지 지원 그래프 대비 학습을 기반으로 공간 전사체 분석을 위한 딥 러닝 프레임워크 STAIG를 개발했습니다.이 프레임워크는 데이터를 정렬할 필요 없이 유전자 발현, 공간 데이터 및 조직학적 이미지를 통합할 수 있으므로, 배치 효과를 제거하고 공간적 영역을 식별하는 데 있어 기존 방법의 한계를 극복할 수 있습니다. STAIG는 사전 학습을 위해 대규모 데이터 세트에 의존하지 않고 자체 감독 학습을 통해 헤마톡실린 및 에오신(H&E) 염색 이미지에서 특징을 추출합니다.
STAIG는 훈련 중에 그래프 구조를 동적으로 조정하고 조직학적 이미지를 통해 관련성이 없는 음성 샘플을 선택적으로 제외하여 편향을 줄입니다. 궁극적으로 STAIG는 지역적 비교를 통해 유전자 발현의 공통점을 분석하고, 수동 좌표 정렬의 복잡성을 피하고 배치 효과를 크게 줄임으로써 배치 통합을 성공적으로 달성했습니다. 연구에 따르면 STAIG는 다양한 데이터세트에서 좋은 성능을 보이며, 특히 공간적 영역 식별에 효과적이며 종양 미세환경에서 자세한 유전적, 공간적 정보를 밝혀낼 수 있어 공간 생물학의 복잡성을 분석하는 데 중요한 잠재력이 있음을 보여줍니다.
동시에 중국 상하이의 린강 연구실의 웨이 우(Wei Wu) 연구팀은 공간 전사체학 분야에서도 상당한 진전을 이루었습니다. 2024년 11월, 연구팀은 Briefings in Bioinformatics 저널에 "MCGAE: 통합 다중 모드 공간 전사체학을 통한 종양 침습 풀기"라는 제목의 연구 논문을 발표했습니다. 본 연구에서는 공간 전사체 데이터 분석을 위해 특별히 설계된 딥 러닝 프레임워크인 MCGAE(Multi-View Contrastive Graph Autoencoder)를 개발했습니다.이 프레임워크는 유전자 발현, 공간 좌표, 이미지 특징을 결합하여 다중 모드, 다중 뷰 생물학적 표현을 생성하여 공간 영역 인식의 정확도를 크게 향상시킵니다.종양 데이터는 종양 부위를 정확하게 식별하고 분자적 조절 특성을 심층적으로 분석하여 복잡한 조직 연구, 질병 메커니즘 연구, 약물 표적 발견을 위한 강력한 도구를 제공합니다.
원본 논문:
https://academic.oup.com/bib/article-pdf/26/1/bbae608/60786360/bbae608.pdf
또한, 농업에 공간 전사체를 적용하는 것도 큰 잠재력을 보여줍니다. 2025년 4월, 베이징대학교 현대농업연구소 연구팀은 "Spatiotemporal tranomics reveals key gene regulation for grain yield and quality in wheat"이라는 제목의 중요한 연구 결과를 Genome Biology에 발표했습니다.공간 전사체 기술을 사용하여 초기 발달 중 다양한 시간대의 밀알에 대한 고해상도 유전자 발현 지도를 구축했습니다.밀알 발달 과정에서 유전자 발현 특성이 밝혀졌습니다. 이 연구는 밀의 분자 설계 육종과 수확량 개선에 대한 중요한 이론적 뒷받침을 제공할 뿐만 아니라, 세계 식량 안보에 대한 강력한 보장도 제공합니다.
원본 논문:
https://www.biorxiv.org/content/biorxiv/early/2024/06/03/2024.06.02.596756.full.pdf
미래에는 공간 전사체 데이터가 지속적으로 축적되고 디지털 병리학 영상 수집 방법이 지속적으로 최적화됨에 따라 인공지능과 오믹스 기술의 긴밀한 통합이 다양한 조직 유형과 질병 배경에서 딥 러닝 모델의 광범위한 응용을 촉진하고 정밀 의학의 발전을 도울 것입니다. M2OST의 제안은 효율적이고 저렴하며 고정밀의 공간적 유전자 발현 예측 프레임워크를 구축하기 위한 견고한 기반을 마련했으며, 생물의학 분야에서 인공지능과 다중 오믹스 데이터 융합 분석의 심오한 전망을 예고합니다.