Ob 3D-Bioprinting in „Westworld“, Luke Skywalkers mechanischer Arm in „Star Wars“ oder die von künstlicher Intelligenz geschaffene virtuelle Welt in „Matrix“ – die reiche Vorstellungskraft dieser Science-Fiction-Filme offenbart die Sehnsucht der Menschheit nach Gesundheit und einem langen Leben.

Heute sind medizinische Technologien, die oft in Filmen vorkommen, wie Roboterarme und künstliche Intelligenz, Realität geworden. Stellen Sie sich eine Zukunft vor, in der Ärzte Ihnen durch einfaches Scannen Ihrer Augen Informationen zu Ihrer Herzgesundheit geben und Ihr Parkinson-Risiko vorhersagen können. Klingt das nicht nach Science-Fiction? Aber das ist kein Film, das ist Realität.

Autor: Qiao Qiao

Herausgeber: Sanyang

Die Netzhaut ist der einzige Teil des menschlichen Körpers, an dem das Kapillarnetz direkt beobachtet werden kann. Es ist auch Teil des zentralen Nervensystems. Traditionelle medizinische künstliche Intelligenz diagnostiziert Augenkrankheiten häufig, indem sie Gesundheitszustände in Netzhautbildern identifiziert.

Jedoch,Die Entwicklung von KI-Modellen erfordert eine große Menge von Experten annotierter Daten und die Modelle sind in der Regel auf bestimmte Krankheitsaufgaben ausgerichtet.Es kann nicht auf verschiedene klinische Anwendungen erweitert werden.

Um dieser Situation zu begegnen, schlugen Zhou Yukun, ein Doktorand vom University College London (UCL) und dem Moorfields Eye Hospital, und andere ein Basismodell für Netzhautbilder namens RETFound vor.Das Training erfolgt durch selbstüberwachtes Lernen anhand von über 1,6 Millionen unbeschrifteten Netzhautbildern.Es bietet hervorragende Leistung bei Aufgaben wie der Diagnose/Prognose von Augenkrankheiten und der Vorhersage systemischer Erkrankungen.

Der zugehörige Artikel wurde in Nature veröffentlicht.

Holen Sie sich das Papier:

https://www.nature.com/articles/s41586-023-06555-x

Antworten Sie im öffentlichen WeChat-Konto mit „Retina“, um das vollständige Dokument als PDF zu erhalten

Details zum RETFound-Modelltraining

Trainingsdaten: CFP+OCT, insgesamt über 1,64 Millionen Bilder

Das Erstellen des RETFound-Datensatzes besteht aus zwei Teilen:

* CFP-Bild:Insgesamt 904.170 Bilder, davon 90,21 TP3T von MEH-MIDAS und 9,81 TP3T von Kaggle EyePACS33

* OCT-Bilder:Insgesamt 736.442, davon 85,2% aus MEH-MIDAS und 14,8% aus anderen Referenzen

MEH-MIDAS ist ein retrospektiver Datensatz.Einbezogen wurden vollständige Augenbildaufzeichnungen von 37.401 Patienten (16.429 Frauen, 20.966 Männer und sechs unbekannten Geschlechts) mit Diabetes, die zwischen 2000 und 2022 das Moorfields Eye Hospital in London besuchten.

Das Durchschnittsalter dieser Patienten betrug 64,5 Jahre mit einer Standardabweichung von 13,3 Jahren. Unter Berücksichtigung der Vielfalt der ethnischen Verteilung umfassten die Patienten Briten (13,71 TP3T), Inder (14,91 TP3T), Kariben (5,21 TP3T), Afrikaner (3,91 TP3T), andere Rassen (37,91 TP3T) und Patienten, die ihre Rasse nicht preisgaben (24,41 TP3T).

Die Daten des MEH-MIDAS-Datensatzes stammen von verschiedenen Bildgebungsgeräten, wie beispielsweise Topcon 3DOCT-2000SA (Topcon), CLARUS (ZEISS) und Triton (Topcon).

Zu den Datenbildgebungsgeräten für den EyePACS-Datensatz gehören Centervue DRS (Centervue), Optovue iCam (Optovue), Canon CR1/DGi/CR2 (Canon) und Topcon NW (Topcon).

RETFound:Basismodell für Netzhautbilder

RETFound ist ein grundlegendes Modell für Netzhautbilder.Es wird mithilfe einer selbstüberwachten Lernmethode anhand von 1,6 Millionen unbeschrifteten Netzhautbildern trainiert und kann mit klaren Anmerkungen auf andere Aufgaben zur Erkennung von Augen- und systemischen Erkrankungen angewendet werden.

Das RETFound-Modell wird mithilfe eines maskierten Autoencoders mit einer bestimmten Konfiguration implementiert.Dieser maskierte Autoencoder besteht aus zwei Teilen:

* Ein Encoder:Wir verwenden den Large Vision Transformer (ViT-large), der 24 Transformer-Blöcke und einen Einbettungsvektor der Größe 1.024 enthält. Die Eingabe besteht aus unmaskierten Patches (16 × 16) und wird in einen Merkmalsvektor der Größe 1.024 projiziert. Diese 24 Transformer-Blöcke umfassen mehrköpfige Selbstaufmerksamkeit und mehrschichtiges Perzeptron, die Merkmalsvektoren als Eingabe akzeptieren und Merkmale auf hoher Ebene generieren.

* Ein Decoder:Verwenden Sie den Small Vision Transformer (Vit-small), der 8 Transformer-Blöcke und einen Einbettungsvektor der Größe 512 enthält. Der maskierte Dummy-Patch wird als Modelleingabe in die extrahierten High-Level-Features eingefügt, und anschließend wird der Bild-Patch nach der linearen Projektion rekonstruiert.

RETFound-Modellarchitekturdiagramm

Das Ziel des Modelltrainings besteht darin, Netzhautbilder aus stark maskierten Versionen zu rekonstruieren.Das Maskenverhältnis von CFP beträgt 0,75, das Maskenverhältnis von OCT beträgt 0,85, die Batchgröße beträgt 1.792 (8 GPUs × 224 pro GPU), die Gesamtzahl der Trainingsepochen beträgt 800, und die ersten 15 Epochen werden zum Aufwärmen der Lernrate verwendet (Erhöhung von 0 auf 1 × 10^-3 . Die Modellgewichte der letzten Epoche werden als Kontrollpunkt für die Anpassung an nachgelagerte Aufgaben gespeichert.

3 Dimensionen zur Bewertung der Leistung des RETFound-Modells

Um die Leistung und Kennzeichnungseffizienz des RETFound-Modells zu bewerten, verglichen die Forscher das RETFound-Modell mit drei anderen vortrainierten Modellen.Dies sind SL-ImageNet, SSL-ImageNet und SSL-Retinal.Alle Modelle verwenden unterschiedliche Vortrainingsstrategien, verfügen jedoch über dieselbe Modellarchitektur und denselben Optimierungsprozess für nachgelagerte Aufgaben.

1. Diagnose von Augenkrankheiten

Die Forscher verwendeten acht öffentliche Datensätze, um die Leistung des RETFound-Modells anhand einer Vielzahl von Augenkrankheiten und Bildgebungsbedingungen zu validieren.

Interne Bewertung

Die obige Abbildung zeigt die interne Auswertung, bei der das optimierte Modell auf jeden Datensatz angewendet und intern anhand der reservierten Testdaten in der Aufgabe zur Diagnose augenärztlicher Erkrankungen (wie diabetischer Retinopathie und Glaukom) ausgewertet wird.

Die experimentellen Ergebnisse zeigen, dass:RETFound erzielte in den meisten Datensätzen die beste Leistung, SL-ImageNet belegte den zweiten Platz.

Externe Evaluation

Zur externen Bewertung untersuchten die Forscher die Leistung des RETFound-Modells anhand von Datensätzen zur diabetischen Retinopathie (Kaggle APTOS-2019, IDRID und MESSIDOR-2), die auf der fünfstufigen International Clinical Diabetic Retinopathy Severity Scale (Internationale Schwereskala für klinische diabetische Retinopathie) aufgeführt sind. Es wird eine Kreuzevaluierung zwischen den drei Datensätzen durchgeführt, d. h., das Modell wird anhand eines Datensatzes optimiert und anhand der anderen Datensätze evaluiert.

Experimentelle Ergebnisse zeigen, dass das RETFound-Modell in allen Kreuzbewertungen die beste Leistung erzielt.

2. Prognose von Augenerkrankungen

Anhand der AlzEye-Daten testeten die Forscher außerdem die Prognose, ob sich am anderen Auge innerhalb eines Jahres eine feuchte altersbedingte Makuladegeneration (feuchte AMD) entwickelt.sich herausstellen:

* Wenn die Eingabe CFP ist, weist RETFound die beste Leistung auf, wobei AUROC 0,862 (95% CI 0,86, 0,865) erreicht, was deutlich besser ist als die Vergleichsgruppe;

* Bei der Eingabe OCT erzielte RETFound mit einem AUROC von 0,799 (95% CI 0,796, 0,802) das höchste Ergebnis und zeigte damit einen statistisch signifikant höheren AUROC als SSL-Retinal. 

Experimentelle Ergebnisse zeigen, dass das RETFound-Modell bei allen Aufgaben die beste Leistung erbringt.

3. Vorhersage systemischer Erkrankungen

Die Forscher verwendeten vier systemische Erkrankungen, um die Leistung des RETFound-Modells bei der Vorhersage der Korrelation zwischen Netzhautbildern und systemischen Erkrankungen zu bewerten.

Leistung eines Modells zur Vorhersage der 3-Jahres-Inzidenz systemischer Erkrankungen anhand von Netzhautbildern

Die vier systemischen Erkrankungen sind: Herzinfarkt, Herzinsuffizienz, ischämischer Schlaganfall und Parkinson-Krankheit.

Experimentelle Ergebnisse zeigen, dass das RETFound-Modell andere Vergleichsmodelle übertrifft und bei der Vorhersage von vier Krankheiten den ersten Platz einnimmt.

Einschränkungen und Herausforderungen des RETFound-Modells

Obwohl im Forschungsprozess die Rolle von RETFound bei der Diagnose und Vorhersage systemischer Erkrankungen wie Herzkrankheiten, Herzinsuffizienz, Schlaganfall und Parkinson systematisch bewertet wurde, gibt es noch einige Einschränkungen und Herausforderungen, die in zukünftigen Arbeiten weiter untersucht werden müssen.

Erstens stammen die meisten Daten, die zur Entwicklung von RETFound verwendet wurden, aus Großbritannien. Daher muss berücksichtigt werden, welche Auswirkungen die Einführung globaler Netzhautbilder in der Zukunft auf die Modellergebnisse haben könnte.Es ist notwendig, vielfältigere und ausgewogenere Daten in das Modell einzubringen.

Zweitens untersuchte diese Studie zwar die Leistung des Modells unter CFP und OCT,Die multimodale Informationsfusion zwischen CFP und OCT wurde jedoch noch nicht untersucht.Dies kann zu weiteren Leistungsverbesserungen für RETFound führen.

Abschließend noch einige klinisch relevante Informationen,Zum Beispiel Demografie und Sehschärfe,Obwohl sie als gültige Kovariate für ophthalmologische Studien dienen können, wurden sie nicht in SSL-Modelle aufgenommen.

Derzeit haben die Entwickler von RETFound dieses Modell öffentlich gemacht, in der Hoffnung, dass Talente aus der ganzen Welt RETFound anpassen und trainieren können.Anwendbarkeit auf verschiedene Patientengruppen und Gesundheitseinrichtungen.

KI trägt zur Gestaltung der neuen Zukunft der intelligenten Gesundheitsversorgung bei

Bisher ist RETFound eine der wenigen erfolgreichen Anwendungen des Basismodells in der medizinischen Bildgebung.Während die Modellleistung verbessert und der Kennzeichnungsaufwand für medizinische Experten verringert wird, hat es auch die Aufmerksamkeit der Menschen auf die praktische Anwendung medizinischer KI gelenkt.

Heute befindet sich die Medizinbranche in einer Phase explosiven Wachstums der Digitalisierung und Kapital aus verschiedenen Branchen ist auf den Markt gekommen, um die Anwendung der KI-Technologie in der Medizinbranche zu fördern.

Laut Statistiken des China Business Industry Research Institute machte die KI-gestützte medizinische Versorgung im Jahr 2020 18,91 TP3T des Marktes für künstliche Intelligenz aus, bei einer Marktgröße von 6,625 Milliarden Yuan. Laut IDC-Statistiken wird der Gesamtwert des Marktes für Anwendungen künstlicher Intelligenz bis 2025 127 Milliarden US-Dollar erreichen, wobei die Medizinbranche ein Fünftel des Marktvolumens ausmachen wird. Von der Basisebene bis zur Anwendungsebene gibt es auf dem riesigen Markt der medizinischen KI viel zu tun.

Quelle: China Business Industry Research Institute

Mit Blick auf die ausländischen Märkte werden medizinische KI-Anwendungen nach und nach implementiert:Im März dieses Jahres hat Nuance, ein zu Microsoft gehörendes Unternehmen für klinische Dokumentationssoftware, GPT4 zu seiner neuesten Sprachtranskriptionsanwendung hinzugefügt. Im April kündigten Microsoft und Epic an, dass sie GPT-4 von OpenAI im Gesundheitswesen einführen würden, um medizinischem Personal dabei zu helfen, auf Patienteninformationen zu reagieren und Krankenakten zu analysieren. im selben Monat kündigte Google an, sein medizinisches Großmodell Med-PaLM 2 der Benutzergruppe zugänglich zu machen.

Im Inland schmieden iFlytek, SenseTime und andere aktiv Pläne und beschleunigen die Erforschung industrieller Anwendungen. KI und Gesundheitswesen sind zu einem Trend geworden, über den sich die globale Technologie-Community einig ist.

Branchenkenner sind der Ansicht, dass die Anwendung großer KI-Modelle die Schwachstellen der medizinischen Branche deutlich lindern dürfte. Mit der weiteren Vertiefung der Anwendungsszenarien dürfte das Zeitalter der intelligenten Medizinbranche offiziell beginnen und der Branche bieten sich langfristig enorme Chancen.

Referenzlinks:

[1]https://www.nature.com/articles/s41586-023-06555-x

[2]https://www.nature.com/articles/d41586-023-02881-2