MediCLIP Erzielt Hochmoderne Ergebnisse Bei Der Erkennung Und Lokalisierung Von Anomalien Unter Verwendung Minimaler Medizinischer Bilddaten.
In der klinischen Diagnostik und Behandlung sind medizinische Bildgebungsverfahren (wie Röntgen, CT und Ultraschall) für die Diagnosestellung von entscheidender Bedeutung. Nach Abschluss der bildgebenden Untersuchung interpretiert in der Regel ein Radiologe oder Ultraschallspezialist die Bilder. Diese professionelle Interpretation identifiziert Anomalien, lokalisiert Läsionen und erstellt Diagnoseberichte, die die klinische Entscheidungsfindung entscheidend unterstützen.
Mit der Entwicklung der künstlichen Intelligenz bringt die medizinische Bildanalyse neue Veränderungen mit sich.Derzeit ist maschinelles Lernen in der Lage, die Aufgabe zu erfüllen, Anomalien in medizinischen Bildern zu erkennen, d. h. normale Bilder von abnormalen Bildern mit Läsionen zu unterscheiden und die Positionen dieser Läsionsbereiche zu identifizieren.Diese Art von Technologie spielt eine Schlüsselrolle bei der Unterstützung medizinischer Entscheidungen. Einige fortschrittliche Erkennungsmodelle können bei bestimmten Aufgaben sogar genauso gut abschneiden wie professionelle Kliniker. Dadurch werden Entscheidungsrisiken reduziert und die Arbeitseffizienz des medizinischen Personals verbessert.
Bestehende Methoden zur Erkennung von Anomalien in medizinischen Bildern basieren jedoch im Allgemeinen auf umfangreichen Datensätzen für das Training. Dadurch lässt sich zwar eine höhere Leistung erzielen, die Entwicklungskosten steigen jedoch auch erheblich.
Das universelle CLIP-Modell bietet gute Ergebnisse bei der Zero-Shot-Übertragung, seine direkte Anwendung zur Erkennung medizinischer Bildanomalien ist jedoch durch Domänenunterschiede und wenige Annotationen eingeschränkt. Im Jahr 2022 schlug ein Forschungsteam der University of Illinois at Urbana-Champaign die MedCLIP-Methode vor. Inspiriert von visuell-text-kontrastiven Lernmodellen wie CLIP erweitert dieser Ansatz dieses Paradigma auf die Klassifizierung medizinischer Bilder und die modalübergreifende Abfrage, indem er das bild-text-kontrastive Lernen entkoppelt und medizinisches Wissen einbezieht, um falsch-negative Ergebnisse zu eliminieren. Die Methode erzielt selbst bei deutlich reduzierten Datenmengen eine hervorragende Leistung.
MedCLIP hat zwar signifikante Erfolge bei der Verringerung der Datenabhängigkeit erzielt, wurde jedoch für Klassifizierungs- und Abrufaufgaben entwickelt und eignet sich nicht gut für die Anomalieerkennung, insbesondere die Läsionslokalisierung. Neuere Forschungen haben CLIP zur Zero-Shot/Small-Shot-Anomalieerkennung eingesetzt und dabei beeindruckende Ergebnisse erzielt. Diese Methoden erfordern jedoch häufig reale Anomaliebilder und auf Pixelebene annotierte Hilfsdatensätze für das Modelltraining, die im medizinischen Bereich schwer zu beschaffen sind.
Um diese Probleme zu lösen, hat ein Forschungsteam der Peking-Universität eine effiziente Lösung zur Erkennung von Anomalien in medizinischen Bildern mit wenigen Stichproben namens MediCLIP vorgeschlagen.Diese Methode erfordert nur eine kleine Menge normaler medizinischer Bilder, um eine führende Leistung bei der Erkennung und Lokalisierung von Anomalien zu erzielen.Es kann verschiedene Krankheiten in verschiedenen medizinischen Bildtypen effektiv erkennen und weist dabei erstaunliche Fähigkeiten zur Zero-Sample-Generalisierung auf.
„MediCLIP: Anomalieerkennung in medizinischen Bildern kleiner Stichproben mit CLIP“Erleben Sie die hochwirksame intelligente medizinische Bildgebungsdiagnosemethode im Bereich „Tutorials“ der offiziellen Website von HyperAI (hyper.ai).
Link zum Tutorial:
Demolauf
1. Wählen Sie auf der Homepage von hyper.ai die Seite „Tutorials“ aus, wählen Sie „MediCLIP: Anomalieerkennung in medizinischen Bildern mit kleinen Stichproben mithilfe von CLIP“ und klicken Sie auf „Dieses Tutorial online ausführen“.
2. Klicken Sie nach dem Seitensprung oben rechts auf „Klonen“, um das Tutorial in Ihren eigenen Container zu klonen.
3. Wählen Sie NVIDIA GeForce RTX 4090 und PyTorch-Image aus und klicken Sie auf „Weiter“. Die OpenBayes-Plattform bietet vier Abrechnungsmethoden. Sie können je nach Bedarf zwischen „Pay as you go“ oder „täglich/wöchentlich/monatlich“ wählen. Neue Benutzer können sich über den unten stehenden Einladungslink registrieren, um 4 Stunden RTX 4090 + 5 Stunden CPU-freie Zeit zu erhalten!
Exklusiver Einladungslink von HyperAI (kopieren und im Browser öffnen):
https://openbayes.com/console/signup?r=Ada0322_NR0n
4. Warten Sie, bis die Ressourcen zugewiesen sind. Der erste Klon dauert etwa 2 Minuten. Wenn der Status auf „Wird ausgeführt“ wechselt, klicken Sie auf „Arbeitsbereich öffnen“.
5. Doppelklicken Sie auf den Projektnamen im linken Verzeichnis, um es zu verwenden. Hinweis: Dieses Tutorial verwendet eine einzelne RTX 4090 GPU. Öffnen Sie nicht die chinesische und die englische Version des Notebooks gleichzeitig, sondern nur eine. README.ipynb wird empfohlen (die chinesische Version ist leichter zu lesen).
6. Klicken Sie oben auf die Schaltfläche „Ausführen“: Richten Sie die virtuelle Python-Umgebung ein.
7. MediCLIP-Modell, das mit 16 Unterstützungsproben auf dem BrainMRI-Datensatz trainiert wurde.
8. Verwenden Sie das trainierte Modell zum Testen im BrainMRI-Datensatz.
Effektdemonstration
Die Ausgabeergebnisse zeigen, dass das Modell bei der binären Klassifizierung von Bildern im BrainMRI-Testsatz mit einem AUROC von 0,9424 (nahezu einer vollen Punktzahl von 1) sehr gut abschneidet.
Die visuellen Erkennungsergebnisse des Modells für jedes Testbild werden standardmäßig im Verzeichnis openbayes//home/MediCLIP/vis_result gespeichert. Der genaue Speicherort ist in der folgenden Abbildung dargestellt:
Öffnen Sie nach dem Zufallsprinzip ein Testergebnisbild, das übersichtlich und intuitiv angezeigt wird:
* Links: Originalbild des Gehirns
* Rechts: Hervorgehobener „abnormer Bereich“
Das Obige ist das diesmal von HyperAI empfohlene Tutorial. Jeder ist herzlich eingeladen, vorbeizukommen und es auszuprobieren!
Link zum Tutorial: