"웨스트월드"의 3D 생체 프린팅이든, "스타워즈"의 루크 스카이워커의 기계 팔이든, "매트릭스"의 AI가 만든 가상 세계이든, 이러한 공상 과학 영화에 나오는 풍부한 상상력은 모두 건강과 장수에 대한 인류의 갈망을 보여줍니다.

로봇팔, 인공지능 등 영화에 자주 등장하는 의료기술이 오늘날 현실이 되었습니다. 의사가 환자의 눈을 검사하여 심장 건강 상태를 알려주고 파킨슨병 발병 위험을 예측할 수 있는 미래를 상상해보세요. 공상과학 같지 않나요? 하지만 이건 영화가 아니라 실제 사건이에요.

저자: Qiao Qiao

편집자: 산양

망막은 모세혈관망을 직접 관찰할 수 있는 인체의 유일한 부분입니다. 또한 중추신경계의 일부이기도 합니다. 전통적인 의료 인공지능은 종종 망막 이미지에서 건강 상태를 식별하여 안구 질환을 진단합니다.

하지만,AI 모델을 개발하려면 전문가가 주석을 단 방대한 양의 데이터가 필요하며, 모델은 일반적으로 특정 질병 관련 작업을 목표로 합니다.다양한 임상적 응용으로 확장될 수 없습니다.

이러한 상황을 해결하기 위해 런던대학교(UCL)와 무어필즈 안과병원의 박사과정생인 주위쿤(Zhou Yukun)과 다른 연구자들은 망막 이미지 기본 모델인 RETFound를 제안했습니다.160만 개가 넘는 레이블이 지정되지 않은 망막 이미지에 대한 자기 감독 학습을 사용하여 학습되었습니다.안구 질환 진단/예후, 전신 질환 예측 등의 업무에 탁월한 성과를 보이고 있습니다.

관련 논문은 Nature에 게재되었습니다.

신문을 받으세요:

https://www.nature.com/articles/s41586-023-06555-x

전체 논문 PDF를 받으려면 WeChat 공개 계정에서 "retina"를 입력하세요.

RETFound 모델 학습 세부 정보

학습 데이터: CFP+OCT, 총 164만개 이상의 이미지

RETFound 데이터세트를 구축하는 것은 두 부분으로 구성됩니다.

* CFP 이미지:총 904,170개의 이미지 중 90.21개의 TP3T는 MEH-MIDAS에서, 9.81개의 TP3T는 Kaggle EyePACS33에서 나왔습니다.

* OCT 이미지:총 736,442개이며, 그 중 85.2%는 MEH-MIDAS에서 나왔고 14.8%는 다른 참조에서 나왔습니다.

MEH-MIDAS는 회고적 데이터 세트입니다.2000년부터 2022년까지 런던의 무어필즈 안과 병원에 내원한 당뇨병 환자 37,401명(여성 16,429명, 남성 20,966명, 성별 미상 6명)의 완전한 안구 영상 기록이 포함되었습니다.

이 환자들의 평균 연령은 64.5세였고 표준편차는 13.3세였습니다. 인종 분포의 다양성을 고려했을 때, 환자에는 영국인(13.7%), 인도인(14.9%), 카리브해인(5.2%), 아프리카인(3.9%), 기타 인종(37.9%)이 포함되었으며, 인종을 공개하지 않은 환자(24.4%)도 포함되었습니다.

MEH-MIDAS 데이터 세트의 데이터는 Topcon 3DOCT-2000SA(Topcon), CLARUS(ZEISS), Triton(Topcon) 등 다양한 이미징 장치에서 나왔습니다.

EyePACS 데이터 세트의 데이터 이미징 장치에는 Centervue DRS(Centervue), Optovue iCam(Optovue), Canon CR1/DGi/CR2(Canon), Topcon NW(Topcon)가 포함됩니다.

RETFound:망막 이미지의 기본 모델

RETFound는 망막 이미지의 기본 모델입니다.이 알고리즘은 자체 감독 학습 방법을 사용하여 160만 개의 레이블이 지정되지 않은 망막 이미지로 학습되었으며, 명확한 주석을 통해 다른 안구 및 전신 질환 감지 작업에도 적용할 수 있습니다.

RETFound 모델은 특정 구성을 갖춘 마스크된 자동 인코더를 사용하여 구현됩니다.이 마스크된 자동 인코더는 두 부분으로 구성됩니다.

* 인코더:우리는 24개의 Transformer 블록과 1,024 크기의 임베딩 벡터를 포함하는 대형 비전 Transformer(ViT-large)를 사용합니다. 입력은 마스크되지 않은 패치(16×16)이며 크기가 1,024인 특징 벡터로 투영됩니다. 이 24개의 Transformer 블록에는 특징 벡터를 입력으로 받아서 고수준 특징을 생성하는 다중 헤드 셀프 어텐션과 다층 퍼셉트론이 포함되어 있습니다.

* 디코더:8개의 Transformer 블록과 크기가 512인 임베딩 벡터를 포함하는 Small Vision Transformer(Vit-small)를 사용합니다. 마스크된 더미 패치를 추출된 고수준 기능에 모델 입력으로 삽입한 다음 선형 투영 후 이미지 패치를 재구성합니다.

RETFound 모델 아키텍처 다이어그램

모델 훈련의 목표는 고도로 마스크된 버전으로부터 망막 이미지를 재구성하는 것입니다.CFP의 마스크 비율은 0.75이고, OCT의 마스크 비율은 0.85이며, 배치 크기는 1,792(GPU 8개 × GPU당 224개)이고, 총 학습 에포크 수는 800이며, 처음 15개 에포크는 학습률 워밍업(0에서 1×10으로 증가)에 사용됩니다.^-3 . 최종 시대의 모델 가중치는 다운스트림 작업에 대한 적응을 위한 체크포인트로 저장됩니다.

RETFound 모델 성능을 평가하는 3가지 차원

RETFound 모델의 성능과 라벨링 효율성을 평가하기 위해 연구자들은 RETFound 모델을 다른 세 가지 사전 학습된 모델과 비교했습니다.이들은 SL-ImageNet, SSL-ImageNet, SSL-Retinal입니다.모든 모델은 서로 다른 사전 학습 전략을 사용하지만 다운스트림 작업에 대한 모델 아키텍처와 튜닝 프로세스는 동일합니다.

1. 안구질환 진단

연구진은 8개의 공개 데이터 세트를 사용하여 다양한 안구 질환과 영상 조건에서 RETFound 모델의 성능을 검증했습니다.

내부 평가

위 그림은 내부 평가를 보여줍니다. 여기서 조정된 모델은 각 데이터 세트에 적용되고 안과 질환 진단 작업(당뇨망막병증 및 녹내장 등)에서 예약된 테스트 데이터에 대해 내부적으로 평가됩니다.

실험 결과는 다음과 같습니다.RETFound는 대부분의 데이터 세트에서 가장 좋은 성능을 달성했으며, SL-ImageNet이 2위를 차지했습니다.

외부 평가

외부 평가를 위해 연구진은 5단계 국제 임상 당뇨병 망막병증 심각도 척도에 따라 주석이 달린 당뇨병 망막병증 데이터 세트(Kaggle APTOS-2019, IDRID 및 MESSIDOR-2)에서 RETFound 모델의 성능을 평가했습니다. 세 개의 데이터 세트 사이에서 교차 평가가 수행됩니다. 즉, 모델은 한 데이터 세트에 맞춰 조정되고 다른 데이터 세트에 대해 평가됩니다.

실험 결과에 따르면 RETFound 모델이 모든 교차 평가에서 가장 좋은 성능을 달성하는 것으로 나타났습니다.

2. 안구질환의 예후

연구진은 또한 AlzEye 데이터를 바탕으로 1년 이내에 다른 눈이 습성 연령 관련 황반변성(습성 AMD)으로 전환되는 예후를 테스트했습니다.나오다:

* 입력이 CFP일 때 RETFound가 가장 좋은 성능을 보였으며, AUROC는 0.862(95% CI 0.86, 0.865)에 도달하여 비교 그룹보다 상당히 우수했습니다.

* 입력이 OCT일 때 RETFound는 AUROC 0.799(95% CI 0.796, 0.802)로 가장 높은 점수를 기록했으며, SSL-Retinal보다 통계적으로 유의하게 높은 AUROC를 보였습니다. 

실험 결과에 따르면 RETFound 모델이 모든 작업에서 가장 좋은 성능을 보입니다.

3. 전신질환 예측

연구진은 4가지 전신 질환을 사용하여 망막 이미지와 전신 질환 간의 상관관계를 예측하는 RETFound 모델의 성능을 평가했습니다.

망막 영상을 이용한 3년간의 전신질환 발생률 예측 모델의 성능

4가지 전신 질환은 심근경색, 심부전, 허혈성 뇌졸중, 파킨슨병입니다.

실험 결과에 따르면 RETFound 모델은 다른 비교 모델보다 성능이 뛰어나고 4가지 질병 예측에서 1위를 차지했습니다.

RETFound 모델의 한계와 과제

연구 과정에서는 심장병, 심부전, 뇌졸중, 파킨슨병과 같은 전신 질환을 진단하고 예측하는 데 있어 RETFound의 역할을 체계적으로 평가했지만, 향후 연구에서 더 탐구해야 할 몇 가지 한계와 과제가 여전히 있습니다.

첫째, RETFound를 개발하는 데 사용되는 대부분의 데이터는 영국에서 왔기 때문에 앞으로 글로벌 망막 이미지가 도입되면 모델 결과에 어떤 영향을 미칠지 고려할 필요가 있습니다.모델에 더욱 다양하고 균형 잡힌 데이터를 도입할 필요가 있습니다.

둘째, 본 연구는 CFP와 OCT 하에서 모델의 성능을 탐구했지만,그러나 CFP와 OCT 간의 다중 모드 정보 융합은 아직 연구되지 않았습니다.이를 통해 RETFound의 성능이 더욱 향상될 수 있습니다.

마지막으로, 임상적으로 관련성 있는 몇 가지 정보입니다.예를 들어, 인구 통계 및 시력,안과 연구에 유효한 공변량으로 활용될 수 있지만 SSL 모델에는 포함되지 않았습니다.

현재 RETFound 개발자들은 이 모델을 공개하여 전 세계의 재능 있는 사람들이 RETFound를 조정하고 훈련할 수 있기를 바라고 있습니다.다양한 환자 그룹과 의료 환경에 적용할 수 있습니다.

AI는 스마트 헬스케어의 새로운 미래를 형성하는 데 도움이 됩니다.

지금까지 RETFound는 의료 영상 분야에서 기본 모델을 성공적으로 적용한 몇 안 되는 사례 중 하나입니다.모델 성능을 개선하고 의료 전문가의 라벨링 부담을 줄이는 동시에 의료 AI의 실제 적용에 대한 사람들의 관심을 불러일으켰습니다.

오늘날 의료 산업은 디지털화의 폭발적 성장기에 접어들었으며, 다양한 산업의 자본이 시장에 진출하여 의료 산업에 AI 기술을 적용하는 것을 촉진하고 있습니다.

중국상업산업연구원의 통계에 따르면, 2020년 AI+의료는 인공지능 시장에서 18.9%를 차지했으며, 시장규모는 66억 2,500만 위안에 달했습니다. IDC 통계에 따르면 인공지능 응용 시장 총 가치는 2025년까지 1,270억 달러에 이를 것으로 예상되며, 그 중 의료 산업이 시장 규모의 1/5을 차지할 것으로 전망됩니다. 기본 계층부터 응용 계층까지, 의료 AI의 광대한 시장에서는 해야 할 일이 많습니다.

출처: 중국기업산업연구소

해외 시장을 살펴보면 의료 AI 응용 프로그램이 점차 구현되고 있습니다.올해 3월, Microsoft가 소유한 임상 문서화 소프트웨어 회사인 Nuance는 최신 음성 전사 애플리케이션에 GPT4를 추가했습니다. 4월에 Microsoft와 Epic은 의료진이 환자 정보에 대응하고 의료 기록을 분석하는 데 도움이 되는 OpenAI의 GPT-4를 의료 분야에 도입할 것이라고 발표했습니다. 같은 달, 구글은 사용자 그룹에 의료용 대형 모델인 Med-PaLM 2를 출시할 것이라고 발표했습니다.

국내에서는 iFlytek, SenseTime 등이 적극적으로 계획을 세우고 산업 응용 분야 탐색을 가속화하고 있습니다. AI와 헬스케어는 글로벌 기술 커뮤니티에서 합의에 도달한 트렌드가 되었습니다.

업계 관계자들은 대규모 AI 모델을 적용하면 의료 산업의 어려움이 크게 완화될 것으로 기대하고 있습니다. 응용 시나리오가 더욱 심화됨에 따라 지능형 의료 산업 시대가 본격적으로 시작될 것으로 예상되며, 이 산업은 장기적으로 엄청난 기회를 가지고 있습니다.

참조 링크:

[1]https://www.nature.com/articles/s41586-023-06555-x

[2]https://www.nature.com/articles/d41586-023-02881-2