Diabetes ist die am schnellsten wachsende chronische Krankheit weltweit. Es kann zu Blindheit, Nierenversagen, Amputation, Schlaganfall, Herzinfarkt usw. führen. Es besteht auch eine enge Verbindung zu einer Tumorinfektion. Unter diesen ist die diabetische Retinopathie (DR) die häufigste fortschreitende okuläre mikrovaskuläre Komplikation bei Diabetikern.Kann Diabetiker mit 30-40% beeinflussen.

Wichtiger noch: Das Vorliegen einer DR weist auch auf ein erhöhtes Risiko für andere Komplikationen hin (beispielsweise an Nieren, Herz und Gehirn). Aus diesem Grund wird ein regelmäßiges DR-Screening als wichtiger Teil der primären Diabetesversorgung empfohlen. Aufgrund des Mangels an Infrastruktur und Personal sowie der hohen KostenIn Ländern mit niedrigem und mittlerem Einkommen wird das DR-Screening häufig vernachlässigt.

In den letzten Jahren hat künstliche Intelligenz, insbesondere Deep Learning, eine immer wichtigere Rolle bei der Behandlung von Diabetes und seinen Komplikationen gespielt. Bisherige Lösungen konzentrierten sich jedoch typischerweise auf einen einzigen Bereich des Diabetes-Komplikationsscreenings oder der ergänzenden Behandlung und integrierten selten beide wichtigen Aspekte gleichzeitig. Der aktuelle Spitzentrend und die wichtigste Herausforderung im internationalen medizinischen Bereich besteht darin, die automatische Erstellung von Diabetesdiagnosen und Behandlungsempfehlungen effektiv mit der genauen Diagnose diabetischer Augenkomplikationen zu integrieren und anschließend ein sicheres und kontrollierbares multimodales intelligentes Modell zu entwickeln, das Allgemeinmediziner bei der Bereitstellung von Diagnose- und Behandlungsdiensten aus einer Hand unterstützt.

In diesem Zusammenhang arbeiteten das Team von Professor Huang Tianyin, Prorektor und Direktor der Medizinischen Fakultät der Tsinghua-Universität, das Team von Professor Sheng Bin, Institut für Informatik, Fakultät für Elektrotechnik, Shanghai Jiao Tong University/Schlüssellabor für Künstliche Intelligenz des Bildungsministeriums, das Team von Professor Jia Weiping und Professor Li Huating, das Sechste Volkskrankenhaus der Medizinischen Fakultät der Shanghai Jiao Tong University, und das Team von Professor Qin Yuzong, National University of Singapore und Singapore National Eye Centre, zusammen, umErfolgreicher Aufbau des weltweit ersten integrierten visuellen Großsprachenmodell-Systems DeepDR-LLM zur Diagnose und Behandlung von Diabetes.

Die entsprechenden Forschungsergebnisse wurden in Nature Medicine unter dem Titel „Integrated image-based deep learning and language models for primary diabetes care“ veröffentlicht.

Das DeepDR-LLM-System kombiniert ein großes Sprachmodell mit Deep-Learning-Technologie auf der Grundlage von Fundusbildern, um Allgemeinmedizinern personalisierte Ratschläge zum Diabetesmanagement und zusätzliche Diagnoseergebnisse für diabetische Retinopathie zu liefern.Das System wurde rückwirkend in einer multizentrischen Kohorte validiert, die sieben Länder in drei großen Regionen umfasste: Asien, Afrika und Europa.Darüber hinaus wurde es durch prospektive Praxisforschung in Chinas primären Gesundheitsversorgungsszenarien verifiziert und lieferte zum ersten Mal hochwertige, beweisbasierte Beweise für die Anwendungseffekte multimodaler Großmodelle im vertikalen Bereich der Diabetes-Versorgung. Das DeepDR-LLM-System soll das primäre Diabetesmanagement und das DR-Screening in Ländern mit niedrigem und mittlerem Einkommen deutlich verbessern und eine revolutionäre digitale Lösung für das zukünftige globale Diabetesmanagement bieten.

Forschungshighlights:

* Diese Studie schlug innovativ die kollaborative Optimierungstechnologie Fusion Adapter (Adapter) und Low-Rank-Adaption (Low-Rank Adaptation, LoRA) vor

* Das DeepDR-Transformer-Modul führt die Transformer-Modellarchitektur ein und wird anhand von mehr als 500.000 Fundusbildern trainiert, um die Qualität der Fundusbilder präzise zu erkennen, Läsionen zu segmentieren und eine DR-Grading-Diagnose durchzuführen.

* Nach der Integration des DeepDR-LLM-Systems in den Diabetesdiagnose- und -behandlungsprozess kann es das Selbstmanagementverhalten neu diagnostizierter Diabetespatienten deutlich verbessern und die Überweisungscompliance von DR-Patienten erhöhen

Papieradresse:
https://www.nature.com/articles/s41591-024-03139-8 

Folgen Sie dem offiziellen Konto und antworten Sie mit „Diabetes Diagnosis and Treatment LLM“, um das vollständige PDF zu erhalten

Adresse zum Herunterladen des Datensatzes:

https://go.hyper.ai/QmveC

Das Open-Source-Projekt „awesome-ai4s“ vereint mehr als 100 AI4S-Papierinterpretationen und stellt umfangreiche Datensätze und Tools bereit:

https://github.com/hyperai/awesome-ai4s

Datensätze: 14 unabhängige Querschnittsdatensätze

Diese Studie umfasste 14 unabhängige Querschnittsdatensätze.Es enthält 7 Standard-Fundusbilder von Diabetikern und 7 unabhängige Querschnittsdatensätze tragbarer Fundusbilder. Für die Datensätze der Standard-Fundusbilder wurden 2 Datensätze verwendet, um das DeepDR-Transformer-Modul zu entwickeln und intern zu validieren, nämlich: die Kohorte des Shanghai Integrated Model (SIM) und die Kohorte des Shanghai Diabetes Prevention Program (SDPP).

Auch,Die Studie wählte außerdem 12 multiethnische Datensätze zur externen Validierung aus.Dabei handelt es sich um die Kohorte des Nicaragua Diabetes Screening Project (NDSP), die Kohorte der Diabetic Retinopathy Progression Study (DRPS), die Kohorte des Wuhan Tongji Health Management (WTHM), die Kohorte des Peking Union Medical College Diabetes Management (PUDM), die Kohorte der China National Diabetes Complications Study (CNDCS), die Kohorte der Guangzhou Diabetic Eye Study (GDES), die Kohorte der Chinese University of Hong Kong-Sight-threatening Diabetic Retinopathy (CUHK-STD), die Kohorte der Singapore Eye Disease Epidemiology Study (SEED), die Kohorte des Singapore National Diabetic Retinopathy Screening Project (SiDRP), die Kohorte der Sankara Nesra Diabetic Retinopathy Epidemiology and Molecular Genetics Study (SN-DREAMS), die Kohorte des Thailand National Diabetic Retinopathy Screening Project (TNDRSP) und die Kohorte der UK Biobank (UKB).

Sechs zusätzliche Datensätze wurden zur externen Validierung verwendet:Die Kohorte der Chinese Portable Diabetic Retinopathy Screening Study-Eastern (CPSSDRE), die Kohorte der Chinese Portable Diabetic Retinopathy Screening Study-Middle (CPSSDRM), die Kohorte der Chinese Portable Diabetic Retinopathy Screening Study-West (CPSSDRW), die Kohorte der Chinese Portable Diabetic Retinopathy Screening Study-Northeastern (CPSSDRN), die Kohorte der Algerian Diabetic Retinopathy Study (ADRS) und die Kohorte der Uzbekistan Diabetic Retinopathy Study (UDRS).

Die Kohorten CPSSDRE, CPSSDRM, CPSSDRW und CPSSDRN wurden aus einem realen DR-Screening-Projekt abgeleitet, das von Phoebusmed unterstützt wurde. Für die ADRS- und UDRS-Datensätze wurden Teilnehmer in Regionen Algeriens bzw. Usbekistans rekrutiert und die Fundusbilder wurden mit einer Vielzahl von Desktop- und Hand-Funduskameras von Canon, Topcon, Carl Zeiss, Optomed und MicroClear aufgenommen.

Modellarchitektur: DeepDR-LLM besteht aus zwei Modulen: LLM und DeepDR-Transformer

Das DeepDR-LLM-System besteht aus zwei Modulen, wie in der folgenden Abbildung dargestellt:

* Modul I (LLM-Modul),Bieten Sie Patienten mit Diabetes eine individuelle Behandlungsberatung an.

* Modul II (DeepDR-Transformer-Modul),Beurteilung der Bildqualität, Läsionssegmentierung und DR-Einstufung anhand von Standard- oder portablen Fundusbildern.

Betreute Feinabstimmung des LLM-Moduls

Zunächst entwickelten die Forscher das LLM-Modul durch Feinabstimmung von LLaMA.

Modul I ist ein mit Domänenwissen erweitertes LLM-Modell, dessen Ziel darin besteht, Empfehlungen zur Diabetesbehandlung auf der Grundlage verschiedener klinischer Metadaten wie Anamnese, körperlicher Untersuchung, Labortests sowie DR- und DME-Diagnoseergebnissen zu formulieren. Das ursprüngliche LLM (d. h. LLaMA) war aufgrund fehlender domänenspezifischer Kenntnisse nicht direkt bei der Erstellung von Empfehlungen zur Diabetesbehandlung wirksam.

Angesichts dieser LückeDie Forscher entwickelten eine überwachte Feinabstimmungsmethode, um Wissen zum Diabetesmanagement in den Trainingsprozess des LLM zu integrieren.Dieser Ansatz kann die Fähigkeit des Modells verbessern, Empfehlungen zur Diabetesbehandlung zu generieren, indem dem Basis-LLM das notwendige Domänenwissen hinzugefügt wird. Der Datensatz für die überwachte Feinabstimmung besteht aus 371.763 Paaren klinischer Daten, die rückwirkend von 267.730 Teilnehmern des Shanghai Sixth People's Hospital und des Huadong Sanatoriums erhoben wurden, sowie aus Managementempfehlungen aus der realen Welt, die nach der Erhebung anonymisiert wurden.

Da alle Parameter (d. h. die ursprünglichen Gewichte des LLM) während der LLM-Feinabstimmung aktualisiert werden, ist dies im Hinblick auf die Effizienz offensichtlich nicht optimal.Das Forschungsteam hat auf innovative Weise die kollaborative Optimierungstechnologie Fusion Adapter (Adaptor) und Low-Rank Adaption (LoRA) vorgeschlagen.Es wurde das multimodale Großmodell DeepDR-LLM erstellt, das sich an große Sprachmodelle einschließlich LLaMA anpassen kann. Das LLM-Modul integriert die Trainingsnetzwerkschicht mit den inhärenten Gewichtungsparametern des großen Sprachmodells und überwindet so den Engpass der multimodalen Optimierung großer Modelle unter den Einschränkungen geringer Rechenleistungsressourcen.

Entwicklung und Training des DeepDR-Transformer-Moduls

Modul II kann als Werkzeug zur Analyse von Fundusbildern in Modul I zur DR-Vorhersage verwendet werden.Die Forscher schlugen ein separates Modell namens DeepDR-Transformer vor.Das Modell kann nach Feinabstimmung auf eine bestimmte Aufgabe verschiedene Merkmale aus Fundusbildern extrahieren.

Die Forscher verwendeten standardmäßige Fundusbilder, um DeepDR-Transformer für vier Aufgaben zu trainieren: ein Modell zur Bildqualitätsbewertung (Bestimmung der Auswertbarkeit), ein Modell zur Vorhersage der DR-Einstufung, ein DME-Vorhersagemodell (Bestimmung, ob es existiert) und ein Modell zur Läsionssegmentierung (Mikroaneurysmen, Blutungen, Cotton-Wool-Flecken und harte Exsudate). Für jedes Modell luden die Forscher vortrainierte Gewichte aus ImageNet und führten dann eine End-to-End-Feinabstimmung durch.

Integrieren Sie die Module I und II

Das DeepDR-LLM-System verfügt über zwei Modi: integriertes Modul I und Modul II.

In einem integrierten Modell mit Beteiligung von ÄrztenDie Ergebnisse von Modul II (z. B. Fundusbild-Graduierbarkeit, Läsionssegmentierung von Mikroaneurysmen, Cotton-Wool-Flecken, harten Exsudaten und Blutungen, DR-Grad und DME-Grad) können Ärzten bei der Generierung von DR/DME-Diagnoseergebnissen (z. B. Fundusbild-Graduierbarkeit, DR-Grad, DME-Grad und Vorhandensein oder Fehlen einer Läsion) helfen.

Im automatisierten IntegrationsmodusDie DR/DME-Diagnoseergebnisse umfassen die Fundusbildbewertung, die DR-Bewertung, die DME-Bewertung geteilt durch Modul II und das Vorhandensein von Läsionen segmentiert durch Modul II. Diese DR/DME-Diagnoseergebnisse und andere klinische Metadaten werden in Modul I eingegeben, um personalisierte Behandlungsempfehlungen für Diabetiker zu generieren.

Forschungsergebnisse: Das DeepDR-LLM-System kann die DR-Screening-Fähigkeiten an der Basis sowie die Diagnose- und Behandlungsniveaus von Diabetes verbessern

Das Forschungsteam lud Professor Juliana CN Chan von der Chinesischen Universität Hongkong, Professor Bao Yuqian vom Sechsten Volkskrankenhaus der Shanghai Jiao Tong University School of Medicine, Professor Jonathan E. Shaw vom Baker Institute of Heart and Diabetes in Australien, Professor Justin B. Echouffo-Tcheugui von der Johns Hopkins University in den USA und Professor Gavin Siew Wei Tan vom Singapore National Eye Center sowie weitere namhafte Wissenschaftler aus diabetesbezogenen Disziplinen ein, ein internationales, multidisziplinäres Expertenkomitee zu bilden.

Das Expertenkomitee wählte nach dem Zufallsprinzip 100 Fallbeispiele aus der chinesischen Diabetes-Studienkohorte zu chronischen Komplikationen aus, die 31 Provinzen und Regionen in China abdeckt, und bildete für jeden Fall einen Diagnose- und Behandlungskonsens. Dies wurde als Standardantwort verwendet, um eine Blindbewertung der Diagnose- und Behandlungsmeinungen des DeepDR-LLM-Systems und der Hausärzte durchzuführen.

Erstens die Fähigkeit des DeepDR-LLM-Systems, Ratschläge zum Diabetesmanagement sowohl auf Chinesisch als auch auf Englisch bereitzustellen.Die folgende Abbildung fasst die Auswertungsergebnisse von Empfehlungen zur Diabetesbehandlung zusammen, die mit vier verschiedenen Methoden (DeepDR-LLM, LLaMA, PCP und Assistenzarzt) in drei verschiedenen Bereichen auf Englisch und Chinesisch erstellt wurden: Ausmaß unangemessener Inhalte, Ausmaß fehlender Inhalte und Wahrscheinlichkeit eines möglichen Schadens.

Auf Englisch,Die DeepDR-LLM-Empfehlungen von 71% wurden als frei von unangemessenen Inhalten eingestuft, höher als die von LLaMA (51%), aber vergleichbar mit denen von PCP (71%). Darüber hinaus wurde davon ausgegangen, dass der DeepDR-LLM-Vorschlag von 36% keine fehlenden Inhalte aufweist (PCP: 27%). Schließlich wurde den DeepDR-LLM-Empfehlungen für 57% eine „geringe Wahrscheinlichkeit“ für eine Schädigung zugeordnet, was mit PCPs 55% vergleichbar ist.

Auf Chinesisch,Die DeepDR-LLM-Empfehlungen von 77% enthielten keine unangemessenen Inhalte, was einem höheren Wert entspricht als bei LLaMA (66%) und PCP (54%). Darüber hinaus wurde davon ausgegangen, dass bei 63% der DeepDR-LLM-Empfehlungen kein Inhalt fehlte, während es bei PCP 46% waren. Die DeepDR-LLM-Empfehlungen von 88% wurden mit einer „geringe Wahrscheinlichkeit“ für eine Schädigung bewertet, während PCP mit 60% bewertet wurde.

Die folgende Abbildung zeigt die Gesamtpunktzahl (definiert als Summe der domänenspezifischen Punktzahlen) für Managementempfehlungen, die auf vier verschiedene Arten generiert wurden.Auf Englisch,Die Behandlungsempfehlungen von DeepDR-LLM waren deutlich besser als die von LLaMA (P < 0,001) und vergleichbar mit denen von PCPs und Assistenzärzten für Endokrinologie.

Auf Chinesisch,DeepDR-LLM gab Behandlungsempfehlungen, die signifikant besser waren als die von LLaMA (P < 0,001) und PCPs (P = 0,010), aber vergleichbar mit denen von Assistenzärzten für Endokrinologie. Mit anderen Worten:Die Qualität der vom DeepDR-LLM-System ausgegebenen Diagnose- und Behandlungsmeinungen erreicht oder übertrifft die von Allgemeinärzten.

Anschließend führten die Forscher externe Tests am DeepDR-LLM-System durch und verwendeten dabei mehr als 500.000 Fundusbilder aus sechs Ländern, darunter Peking, Shanghai, Guangzhou, Wuhan und Hongkong in China sowie Singapur, Indien, Thailand, das Vereinigte Königreich, Algerien und Usbekistan.

Ziel ist es, die Wirksamkeit von DeepDR-Transformer als Zusatztool für PCPs und spezialisierte nichtärztliche Bewerter (die derzeit in vielen DR-Screening-Programmen wie beispielsweise im Vereinigten Königreich, Singapur und Vietnam eingesetzt werden) bei der Identifizierung überweisbarer DR zu bewerten.Die Forscher bewerteten die Genauigkeit und Zeiteffizienz des Bewertungsprozesses mit und ohne Unterstützung des DeepDR-Transformer-Moduls.Wie in der folgenden Abbildung dargestellt:

Die Ergebnisse zeigen, dass der Empfindlichkeitsbereich von PCP ohne Unterstützung 37,2%-81,6% beträgt und mit Unterstützung von DeepDR-Transformer der Bereich auf 78,0%-98,4% verbessert wird. Ebenso wurde die Spezifität von ursprünglich 84,4%-94,8% (ohne Unterstützung) auf 90,4%-98,8% (unterstützt) verbessert.

Darüber hinaus können Sie mit Hilfe von DeepDR-TransformerDie durchschnittliche Zeit, die für die Auswertung benötigt wurde, wurde von 14,66 Sekunden auf 11,31 Sekunden pro Auge reduziert——Dies zeigt, dass das System die Genauigkeit und Effizienz der DR-Einstufung erheblich verbessert hat und seine Diagnosefähigkeit sogar das Niveau professioneller Augenärzte erreichen kann.

Darüber hinaus wandte das Forschungsteam das integrierte DeepDR-LLM-System auf reale klinische Prozesse an und führte eine prospektive Studie mit 769 chinesischen Diabetespatienten in der Grundversorgung durch. Die Ergebnisse zeigten, dass das DeepDR-LLM-System nach der Integration in den Diabetesdiagnose- und -behandlungsprozess das Selbstmanagementverhalten neu diagnostizierter Diabetespatienten deutlich verbessern und die Überweisungscompliance von DR-Patienten erhöhen konnte.

Beitrag asiatischer Weisheit zum intelligenten Management von Diabetes

Heute stellt die zunehmende Verbreitung von Diabetes eine große Herausforderung für die öffentliche Gesundheit in China und auf der ganzen Welt dar. Künstliche Intelligenz, insbesondere Deep Learning, spielt bei der Behandlung von Diabetes und seinen Komplikationen eine immer wichtigere Rolle. Die oben genannten Experten der Teams der Tsinghua-Universität, der Shanghai Jiao Tong-Universität, der National University of Singapore und des Singapore National Eye Centre arbeiten seit vielen Jahren auf diesem Gebiet.

Im Jahr 2017 gründeten Professor Huang Tianyin, der damalige medizinische Direktor des Singapore National Eye Centre, und sein TeamDas Unternehmen ist das erste weltweit, das eine automatische Diagnose mittelschwerer bis schwerer DR-Fälle in multiethnischen Bevölkerungen auf der Grundlage von Deep-Learning-Algorithmen realisiert.Die Ergebnisse wurden in JAMA veröffentlicht, einem Meilenstein in der Geschichte der intelligenten medizinischen Entwicklung.

Im Jahr 2018 führten die Teams von Professor Jia Weiping und Professor Li Huating gemeinsam mit dem Team von Professor Sheng Bin von der School of Electronic Information and Electrical Engineering der Shanghai Jiao Tong University eine medizin- und ingenieurwissenschaftliche Innovationszusammenarbeit durch und schlossen sich mit führenden internationalen akademischen Einrichtungen wie dem Singapore National Eye Centre zusammen. Mit Unterstützung der Shanghaier Kommission für Wissenschaft und Technologie und der Shanghaier Jiaotong-Universität wurde die Gründung des Shanghaier „Belt and Road“-Internationalen Gemeinsamen Labors für intelligente Prävention und Kontrolle von Stoffwechselerkrankungen genehmigt, das sich der Durchführung einer umfassenden medizinisch-technischen und internationalen Zusammenarbeit im Bereich der intelligenten Prävention und Kontrolle von Stoffwechselerkrankungen verschrieben hat.

Seit seiner Gründung hat das gemeinsame Labor Millionen von Daten analysiert.Entwickelte ein transfererweitertes Multitasking-Deep-Learning-System DeepDR,Es ermöglicht eine automatische Diagnose des gesamten Verlaufs der DR, von leichten bis zu proliferativen Läsionen, und kann Echtzeit-Feedback zur Qualität von Fundusbildern liefern sowie Fundusläsionen identifizieren und segmentieren. Diese Technologie wird auch im „Global Diabetic Retinopathy Screening Project in Low- and Middle-Income Countries“ der International Diabetes Federation eingesetzt und wurde in 48 Ländern gefördert. .

Dieses Ergebnis wurde 2021 in Nature Communications unter dem Titel „Ein Deep-Learning-System zur Erkennung diabetischer Retinopathie im gesamten Krankheitsspektrum“ veröffentlicht.

* Link zum Artikel:

https://www.nature.com/articles/s41467-021-23458-5

Ende 2021 wurde Professor Huang Tianyin von der Tsinghua-Universität als Lehrstuhlinhaber und Leiter der medizinischen Disziplin eingestellt und führte aktiv translationale Forschung zur Diagnose und Behandlung von Diabetes und Komplikationen bei Augenerkrankungen durch künstliche Intelligenz durch. Durch kontinuierliche gemeinsame Forschung ist es dem gemeinsamen Labor und dem Team von Professor Huang Tianyin an der Tsinghua-Universität gelungen, ein Deep-Learning-System namens DeepDR Plus auf Basis des Weibull-Mischverteilungsmodells zu entwickeln und damit die bisher führende Technologie des US-amerikanischen Google-Teams auf diesem Gebiet zu übertreffen. Es ist das weltweit erste System, das eine Risikowarnung und Verlaufsvorhersage für DR über einen Zeitraum von bis zu 5 Jahren ermöglicht und die Rate an Fehldiagnosen extrem niedrig hält, während gleichzeitig die Screening-Häufigkeit und die Kosten für das öffentliche Gesundheitswesen deutlich reduziert werden. Die Ergebnisse wurden im Januar 2024 in Nature Medicine veröffentlicht.

Klicken Sie hier, um den ausführlichen Bericht anzuzeigen: Die Shanghai Jiaotong University und die Tsinghua University haben gemeinsam DeepDR Plus veröffentlicht, das den Verlauf der diabetischen Retinopathie innerhalb von 5 Jahren nur anhand von Fundusbildern vorhersagen kann

Kurz gesagt kann man sagen, dass die Geburt von DeepDR-LLM der „Höhepunkt“ früherer Forschungsergebnisse ist. Getreu dem Konzept des menschenorientierten und intelligenten Guten haben die Forscher eine hochwertige, evidenzbasierte Grundlage für zukünftige Änderungen im primären Diabetesmanagement geschaffen, die es ermöglicht, die globale Diabetes-Governance besser in den Trend der Digitalisierung, Intelligenz und Ökologisierung zu integrieren und asiatische Weisheit in die intelligente Diabetes-Governance einzubringen.

Quellen:
1.https://mp.weixin.qq.com/s/MBtm0hY0gKE8NRQ8GfDy7A
2.https://www.nsfc.gov.cn/csc/20340/20343/68143/index.html
3.https://www.tsinghua.edu.cn/info/1182/112946.htm