세계 최초! 청화대/상하이교통대 등 공동 연구진, 당뇨병 진단 및 치료를 위한 시각적-대규모 언어 모델 구축, Nature 게재
당뇨병은 전 세계에서 가장 빠르게 증가하고 있는 주요 만성 질환입니다. 실명, 신부전, 절단, 뇌졸중, 심근경색 등을 일으킬 수 있으며, 종양 감염과도 밀접한 관련이 있습니다. 그 중 당뇨병성 망막증(DR)은 당뇨병 환자에서 가장 흔한 진행성 안구 미세혈관 합병증입니다.30-40%를 가진 당뇨병 환자에게 영향을 미칠 수 있습니다.
더 중요한 점은 DR의 존재는 신장, 심장, 뇌와 같은 다른 합병증의 위험 증가를 나타내므로 정기적인 DR 검진을 1차 당뇨병 치료의 핵심 부분으로 권장한다는 것입니다. 그러나 인프라와 인력 부족, 높은 비용 등으로 인해저소득 및 중소득 국가에서는 DR 검진이 종종 무시됩니다.
최근 들어 인공지능, 특히 딥러닝은 당뇨병과 합병증 관리에 점점 더 중요한 역할을 하고 있습니다. 그러나 과거의 솔루션은 일반적으로 당뇨병 합병증 검진이나 보조 관리의 단일 영역에 초점을 맞추었고, 두 가지 중요한 측면을 동시에 통합한 경우는 거의 없었습니다. 자동 생성된 당뇨병 진단 및 치료 의견을 당뇨병성 안구 합병증에 대한 정확한 진단과 효과적으로 통합하고, 일차 진료 의사가 원스톱 보조 진단 및 치료 서비스를 제공할 수 있도록 지원하는 안전하고 제어 가능한 다중 모드 지능형 모델을 구축하는 방법은 현재 국제 의료 분야의 최첨단 추세이자 중요한 과제입니다.
이러한 맥락에서 청화대학교 의학부 부총장 겸 원장인 황톈인 교수팀, 상하이교통대학교 전기공학부 컴퓨터과학과/교육부 인공지능중점연구실 성빈 교수팀, 상하이교통대학교 의학부 부속 제6인민병원 지아웨이핑 교수팀과 리화팅 교수팀, 싱가포르국립대학교 및 싱가포르국립안과센터 진위종 교수팀이 공동으로 연구했다.세계 최초로 당뇨병 진단 및 치료를 위한 시각적 대규모 언어 모델 통합 시스템인 DeepDR-LLM을 성공적으로 구축했습니다.
관련 연구 결과는 "1차 당뇨병 치료를 위한 통합 이미지 기반 딥 러닝 및 언어 모델"이라는 제목으로 Nature Medicine에 게재되었습니다.
DeepDR-LLM 시스템은 대규모 언어 모델과 안저 이미지 기반의 딥러닝 기술을 결합하여 1차 진료 의사에게 개인화된 당뇨병 관리 조언과 당뇨병성 망막증에 대한 보조 진단 결과를 제공합니다.이 시스템은 아시아, 아프리카, 유럽의 3개 주요 지역의 7개국을 대상으로 한 다기관 코호트에서 사후적으로 검증되었습니다.또한 중국의 1차 의료 시나리오에 대한 전향적 실제 연구를 통해 검증되었으며, 당뇨병 의료의 수직적 분야에서 다중 모드 대형 모델의 적용 효과에 대한 고품질의 증거 기반 증거를 처음으로 제공했습니다. DeepDR-LLM 시스템은 저소득 및 중소득 국가에서 1차 당뇨병 관리와 DR 검진을 크게 개선하고, 미래의 글로벌 당뇨병 관리를 위한 혁신적인 디지털 솔루션을 제공할 것으로 기대됩니다.
연구 하이라이트:
* 본 연구에서는 융합 어댑터(Adaptor)와 저랭크 적응(Low-Rank Adaptation, LoRA) 협업 최적화 기술을 혁신적으로 제안했다.
* DeepDR-Transformer 모듈은 Transformer 모델 아키텍처를 도입하고 500,000개 이상의 안저 이미지에 대해 학습하여 안저 이미지 품질을 정확하게 감지하고 병변을 분할하며 DR 등급 진단을 수행합니다.
* DeepDR-LLM 시스템을 당뇨병 진단 및 치료 프로세스에 통합하면 새로 진단된 당뇨병 환자의 자가 관리 행동을 크게 개선하고 DR 환자의 의뢰 준수도를 높일 수 있습니다.
서류 주소:
https://www.nature.com/articles/s41591-024-03139-8
공식 계정을 팔로우하고 "당뇨병 진단 및 치료 LLM"에 답글을 남겨 전체 PDF를 받으세요.
데이터세트 다운로드 주소:
오픈소스 프로젝트인 "awesome-ai4s"는 100개가 넘는 AI4S 논문 해석을 모아 방대한 데이터 세트와 도구를 제공합니다.
https://github.com/hyperai/awesome-ai4s
데이터 세트: 14개의 독립적인 횡단면 데이터 세트
이 연구에는 14개의 독립적인 단면 데이터 세트가 포함되었습니다.여기에는 당뇨병 환자의 표준 안저 이미지 7개와 휴대용 안저 이미지의 독립적인 단면 데이터 세트 7개가 포함되어 있습니다. 표준 안저 이미지 데이터 세트의 경우, DeepDR-Transformer 모듈을 개발하고 내부적으로 검증하기 위해 상하이 통합 모델(SIM) 코호트와 상하이 당뇨병 예방 프로그램(SDPP) 코호트의 두 가지 데이터 세트를 사용했습니다.
또한,이 연구에서는 또한 외부 검증을 위해 12개의 다민족 데이터 세트를 선택했습니다.이들은 다음과 같습니다: 니카라과 당뇨병 검진 프로젝트(NDSP) 코호트, 당뇨병성 망막병증 진행 연구(DRPS) 코호트, 우한 통지 건강 관리(WTHM) 코호트, 베이징 연합 의과대학 당뇨병 관리(PUDM) 코호트, 중국 국가 당뇨병 합병증 연구(CNDCS) 코호트, 광저우 당뇨병성 안구 연구(GDES) 코호트, 홍콩 중국 대학 시력 위협 당뇨병성 망막병증(CUHK-STD) 코호트, 싱가포르 안구 질환 역학 연구(SEED) 코호트, 싱가포르 국가 당뇨병성 망막병증 검진 프로젝트(SiDRP) 코호트, 상카라 네스라 당뇨병성 망막병증 역학 및 분자 유전학 연구(SN-DREAMS) 코호트, 태국 국가 당뇨병성 망막병증 검진 프로젝트(TNDRSP) 코호트 및 영국 바이오뱅크(UKB) 코호트.
외부 검증을 위해 6개의 추가 데이터 세트가 사용되었습니다.중국 휴대용 당뇨병성 망막병증 검진 연구-동부(CPSSDRE) 코호트, 중국 휴대용 당뇨병성 망막병증 검진 연구-중부(CPSSDRM) 코호트, 중국 휴대용 당뇨병성 망막병증 검진 연구-서부(CPSSDRW) 코호트, 중국 휴대용 당뇨병성 망막병증 검진 연구-북동부(CPSSDRN) 코호트, 알제리 당뇨병성 망막병증 연구(ADRS) 코호트, 우즈베키스탄 당뇨병성 망막병증 연구(UDRS) 코호트.
CPSSDRE, CPSSDRM, CPSSDRW, CPSSDRN 코호트는 Phoebusmed가 진행한 실제 DR 스크리닝 프로젝트에서 파생되었습니다. ADRS와 UDRS 데이터 세트의 경우, 참가자는 각각 알제리와 우즈베키스탄 지역에서 모집되었으며, 안저 이미지는 Canon, Topcon, Carl Zeiss, Optomed, MicroClear의 다양한 데스크톱 및 핸드헬드 안저 카메라를 사용하여 촬영되었습니다.
모델 아키텍처: DeepDR-LLM은 LLM과 DeepDR-Transformer의 두 모듈로 구성됩니다.
DeepDR-LLM 시스템은 다음 그림과 같이 두 개의 모듈로 구성됩니다.
* 모듈 I(LLM 모듈),당뇨병 환자에게 개인화된 관리 조언을 제공합니다.
* 모듈 II(DeepDR-Transformer 모듈),표준 또는 휴대용 안저 이미지에서 이미지 품질 평가, 병변 분할 및 DR 등급을 지정합니다.
LLM 모듈의 감독된 미세 조정
먼저, 연구진은 LLaMA를 미세 조정하여 LLM 모듈을 개발했습니다.
모듈 I은 의료 기록, 신체 검사, 실험실 검사, DR 및 DME 진단 결과 등 다양한 임상 메타데이터를 기반으로 당뇨병 관리 권장 사항을 수립하는 것을 목표로 하는 도메인 지식으로 강화된 LLM 모델입니다. 초기 LLM(즉, LLaMA)은 도메인별 지식이 부족해 당뇨병 관리 권장 사항을 생성하는 데 직접적으로 효과적이지 않았습니다.
이러한 차이를 감안할 때,연구자들은 LLM의 교육 과정에 당뇨병 관리 관련 지식을 통합하기 위해 감독 하에 진행되는 미세 조정 방법을 개발했습니다.이러한 접근 방식은 기본 LLM에 필요한 도메인 지식을 추가하여 당뇨병 관리 권장 사항을 생성하는 모델의 능력을 향상시킬 수 있습니다. 지도적 미세 조정을 위한 데이터 세트는 상하이 제6인민병원과 화동 요양소의 267,730명의 참여자로부터 후향적으로 얻은 371,763쌍의 임상 데이터와 실제 세계에서 얻은 관리 권장 사항으로, 수집 후 익명화되었습니다.
모든 매개변수(즉, LLM의 원래 가중치)는 LLM 미세 조정 중에 업데이트되므로 효율성 측면에서 이는 분명 최적이 아닙니다.연구팀은 융합 어댑터(Adaptor)와 저순위 적응(LoRA) 협업 최적화 기술을 혁신적으로 제안했습니다.LLaMA를 포함한 대규모 언어 모델에 적응할 수 있는 DeepDR-LLM 다중 모드 대규모 모델이 구축되었습니다. LLM 모듈은 대규모 언어 모델의 고유한 가중치 매개변수와 학습 네트워크 계층을 통합하여 낮은 컴퓨팅 파워 리소스의 제약 하에서 다중 모드 대규모 모델 최적화의 병목 현상을 해소합니다.
DeepDR-Transformer 모듈의 개발 및 교육
모듈 II는 DR 예측을 위한 모듈 I의 안저 이미지 분석을 위한 도구로 사용될 수 있습니다.연구자들은 DeepDR-Transformer라는 별도의 모델을 제안했습니다.이 모델은 특정 작업에 맞춰 미세 조정된 후 안저 이미지에서 다양한 특징을 추출할 수 있습니다.
연구진은 표준 안저 영상을 사용하여 DeepDR-Transformer를 4가지 작업에 대해 훈련시켰습니다. 영상 품질 평가 모델(평가 가능성 결정), DR 등급 예측 모델, DME 예측 모델(존재 여부 결정), 병변 분할 모델(미세동맥류, 출혈, 탈지면, 경질 삼출물). 각 모델에 대해 연구진은 ImageNet에서 사전 훈련된 가중치를 로드한 다음 종단 간 미세 조정을 수행했습니다.
모듈 I 및 II 통합
DeepDR-LLM 시스템에는 통합 모듈 I과 모듈 II의 두 가지 모드가 있습니다.
의사의 참여가 있는 통합 모델에서모듈 II의 출력(즉, 안저 이미지 점진성, 미세동맥류, 면화 반점, 단단한 삼출물 및 출혈의 병변 분할, DR 등급, DME 등급)은 의사가 DR/DME 진단 결과(즉, 안저 이미지 점진성, DR 등급, DME 등급 및 병변 존재 또는 부재)를 생성하는 데 도움이 될 수 있습니다.
자동 통합 모드에서는DR/DME 진단 결과에는 안저 영상 등급, DR 등급, 모듈 II로 구분한 DME 등급, 모듈 II로 구분한 병변의 존재 여부가 포함됩니다. 이러한 DR/DME 진단 결과와 기타 임상 메타데이터는 모듈 I에 입력되어 당뇨병 환자를 위한 맞춤형 관리 권장 사항을 생성합니다.
연구 결과: DeepDR-LLM 시스템은 기초 DR 스크리닝 역량과 당뇨병 진단 및 치료 수준을 향상시킬 수 있습니다.
연구팀은 홍콩 중국 대학의 줄리아나 찬 교수, 상하이 교통대학 의과대학 부속 제6인민병원의 바오위첸 교수, 호주 베이커 심장 및 당뇨병 연구소의 조나단 E. 쇼 교수, 미국 존스홉킨스 대학의 저스틴 B. 에코포-체구이 교수, 싱가포르 국립 안과 센터의 개빈 슈웨이 탄 교수 등 당뇨병 분야의 유명 학자들을 초청해 국제적인 다학제 전문가 위원회를 구성했습니다.
전문가 위원회는 중국 31개 성 및 지역을 포함하는 중국 당뇨병 만성 합병증 연구 코호트에서 무작위로 100건의 사례 샘플을 선정하고 각 사례에 대한 진단 및 치료에 대한 합의를 이루었습니다. 이는 DeepDR-LLM 시스템과 1차 진료 의사(PCP)가 내린 진단 및 치료 의견에 대한 맹검 채점을 실시하기 위한 표준 답변으로 사용되었습니다.
첫째, DeepDR-LLM 시스템은 중국어와 영어로 당뇨병 관리에 대한 조언을 제공할 수 있습니다.아래 그림은 4가지 다른 방법(DeepDR-LLM, LLaMA, PCP 및 레지던트 의사)을 통해 생성된 당뇨병 관리 권장 사항의 평가 결과를 영어와 중국어로 세 가지 다른 영역(부적절한 콘텐츠의 범위, 누락된 콘텐츠의 범위, 가능한 해악의 가능성)에서 요약한 것입니다.
영어로,71%의 DeepDR-LLM 권장 사항은 부적절한 내용이 없는 것으로 간주되었으며, 이는 LLaMA(51%)의 권장 사항보다 높았지만 PCP(71%)의 권장 사항과 유사했습니다. 또한, 36%의 DeepDR-LLM 제안에는 누락된 콘텐츠가 없는 것으로 간주되었습니다(PCP: 27%). 마지막으로, 57%에 대한 DeepDR-LLM 권장 사항은 해를 끼칠 가능성이 "낮음"으로 평가되었으며, 이는 PCP의 55%와 유사합니다.
중국어로,77%의 DeepDR-LLM 추천은 부적절한 내용이 없는 것으로 간주되었으며, 이는 LLaMA(66%) 및 PCP(54%)보다 높았습니다. 또한, DeepDR-LLM 추천의 63%는 누락된 내용이 없는 것으로 간주되었지만, PCP 추천의 63%는 누락된 내용이 없는 것으로 간주되었습니다. 88%의 DeepDR-LLM 권장 사항은 해를 끼칠 가능성이 "낮음"으로 평가되었지만, PCP는 60%로 평가되었습니다.
아래 그림은 4가지 다른 방법으로 생성된 관리 권장 사항에 대한 총점(도메인별 점수의 합계로 정의)을 보여줍니다.영어로,DeepDR-LLM이 내린 관리 권장 사항은 LLaMA가 내린 권장 사항보다 상당히 우수했으며(P < 0.001) PCP와 내분비과 레지던트가 내린 권장 사항과 비슷했습니다.
중국어로,DeepDR-LLM은 LLaMA(P < 0.001) 및 PCP(P = 0.010)보다 관리 권장 사항을 상당히 개선했지만 내분비학 레지던트와 비슷한 수준이었습니다. 다시 말해서,DeepDR-LLM 시스템이 출력하는 진단 및 치료 의견의 질은 1차 진료 의사의 수준과 동등하거나 그 이상입니다.
이후 연구진은 중국의 베이징, 상하이, 광저우, 우한, 홍콩과 싱가포르, 인도, 태국, 영국, 알제리, 우즈베키스탄 등 6개국의 50만 장 이상의 안저 영상을 사용하여 DeepDR-LLM 시스템에 대한 외부 테스트를 실시했습니다.
PCP와 전문 비의사 평가자(현재 영국, 싱가포르, 베트남 등 많은 DR 스크리닝 프로그램에서 사용됨)를 위한 보조 도구로서 DeepDR-Transformer의 효과를 평가하여 관련 DR을 식별합니다.연구진은 DeepDR-Transformer 모듈을 사용한 경우와 사용하지 않은 경우의 등급 평가 과정의 정확성과 시간 효율성을 평가했습니다.다음 그림과 같이:
결과에 따르면, 비보조 PCP의 민감도 범위는 37.2%~81.6%이고, DeepDR-Transformer의 도움을 받으면 범위가 78.0%~98.4%로 향상됩니다. 마찬가지로 특이성은 원래의 84.4%-94.8%(비도움)에서 90.4%-98.8%(도움)로 개선되었습니다.
또한 DeepDR-Transformer의 도움으로평가에 필요한 중간 시간은 눈당 14.66초에서 11.31초로 단축되었습니다.——이것은 시스템이 DR 등급의 정확도와 효율성을 크게 향상시켰으며, 진단 능력이 전문 안과 의사 수준에 도달할 수 있음을 보여줍니다.
또한 연구팀은 통합된 DeepDR-LLM 시스템을 실제 임상 프로세스에 적용하고 중국인 1차 진료 당뇨병 환자 769명을 대상으로 전향적 연구를 수행했습니다. 연구 결과에 따르면 DeepDR-LLM 시스템을 당뇨병 진단 및 치료 과정에 통합한 후 새로 진단받은 당뇨병 환자의 자가 관리 행동을 크게 개선하고 DR 환자의 의뢰 준수도를 높일 수 있었습니다.
당뇨병의 지능적 관리에 아시아적 지혜를 기여합니다
오늘날 당뇨병의 유병률이 증가함에 따라 중국과 전 세계의 공중 보건에 큰 문제가 되고 있습니다. 인공지능, 특히 딥러닝은 당뇨병과 합병증 관리에 점점 더 중요한 역할을 하고 있습니다. 위에 언급된 청화대학교 팀, 상하이 교통대학교 팀, 싱가포르 국립대학교, 싱가포르 국립안과 센터 팀의 전문가들은 수년간 이 분야에서 일해왔습니다.
2017년 당시 싱가포르 국립 안과 센터 의료 책임자였던 황톈인 교수와 그의 팀은이 회사는 딥러닝 알고리즘을 기반으로 다인종 인구의 중등도에서 중증 DR 사례를 자동으로 진단하는 것을 세계 최초로 실현했습니다.해당 연구 결과는 JAMA에 게재되었는데, 이는 스마트 의료 개발 역사에서 중요한 이정표로 여겨집니다.
2018년에 지아 웨이핑 교수와 리 화팅 교수 팀은 상하이 교통대학교 전자정보 및 전기공학과의 성빈 교수 팀과 협력하여 의학 및 공학 분야를 넘나드는 협업적 혁신을 수행했으며, 싱가포르 국립 안과 센터 등 세계적인 학술 기관과 협력했습니다. 상하이 과학기술위원회와 상하이 교통대학의 지원을 받아 상하이 "일대일로" 대사 관련 질병의 지능형 예방 및 관리를 위한 국제 공동 실험실을 설립하기로 승인되었습니다. 이 실험실은 대사 관련 질병의 지능형 예방 및 관리 분야에서 광범위한 의학 및 공학 분야 간 협력과 국제 협력을 수행하는 데 전념하고 있습니다.
공동 실험실은 설립 이래 수백만 개의 데이터를 분석했습니다.전이 강화형 멀티태스크 딥러닝 시스템 DeepDR을 개발했습니다.경증에서 증식성 병변까지 DR 전 과정을 자동으로 진단하고, 안저 영상 품질에 대한 실시간 피드백을 제공하며, 안저 병변을 식별하고 구분할 수 있습니다. 이 기술은 국제당뇨연맹의 "저소득 및 중소득 국가의 글로벌 당뇨병성 망막병증 검진 프로젝트"에도 활용되고 있으며, 48개국에 홍보되었습니다. .
이 결과는 "질병 스펙트럼 전반에 걸쳐 당뇨망막병증을 탐지하기 위한 딥러닝 시스템"이라는 제목으로 2021년 Nature Communications에 게재되었습니다.
* 논문 링크:
https://www.nature.com/articles/s41467-021-23458-5
2021년 말, 황톈인 교수는 청화대학교에서 석좌교수 겸 의학 분야 리더로 영입되어 인공지능을 활용한 당뇨병 및 안구 질환 합병증 진단 및 치료에 대한 전환 연구를 적극적으로 수행했습니다. 청화대학교 황톈인 교수팀과 공동연구실은 지속적인 협력연구를 통해 웨이블 혼합분포 모델을 기반으로 한 딥러닝 시스템 DeepDR Plus를 성공적으로 구축하였으며, 이 분야에서 미국 구글팀이 보유한 기존 선도적 기술을 능가했습니다. 최대 5년 동안 DR의 위험 경고 및 진행 예측을 달성한 세계 최초의 기술로, 검진 빈도와 공중 보건 비용을 크게 줄이는 동시에 극히 낮은 진단 미실시율을 유지할 수 있습니다. 해당 연구 결과는 2024년 1월 Nature Medicine에 게재되었습니다.
간단히 말해, DeepDR-LLM의 탄생은 기존 연구 결과의 "정점"이라고 할 수 있습니다. 연구진은 사람 중심적이고 지능적 선의 개념을 고수하여 미래의 1차 당뇨병 관리 변화를 위한 고품질의 증거 기반 기초를 제공했으며, 이를 통해 글로벌 당뇨병 거버넌스가 디지털화, 지능화, 친환경화 추세에 더 잘 통합될 수 있도록 했으며, 지능형 당뇨병 거버넌스에 대한 아시아의 지혜를 기여했습니다.
참고문헌:
1.https://mp.weixin.qq.com/s/MBtm0hY0gKE8NRQ8GfDy7A
2.https://www.nsfc.gov.cn/csc/20340/20343/68143/index.html
3.https://www.tsinghua.edu.cn/info/1182/112946.htm