Das Team Der Fudan-Universität Sammelte 30 GB Und Fast 200.000 Paare Von Trainingsproben Und Veröffentlichte UniFMIR: Mit KI Die Grenzen Der Mikroskopischen Bildgebung Überwinden

Die Fluoreszenzmikroskopie ist ein unverzichtbares und wichtiges Forschungsinstrument im Bereich der Biowissenschaften. Das Prinzip besteht darin, das zu untersuchende Objekt mit ultraviolettem Licht als Lichtquelle zu beleuchten und es zum Fluoreszieren zu bringen. Anschließend werden Form und Lage des Objekts unter einem Mikroskop beobachtet. Damit können die Aufnahme und der Transport von Substanzen innerhalb von Zellen, die Verteilung und Positionierung chemischer Substanzen usw. untersucht werden.

Eine hochintensive Einwirkung von Anregungslicht kann die Zellen jedoch direkt oder indirekt durch photochemische Prozesse beeinflussen. Bei längeren Experimenten mit lebenden Zellen ist es wünschenswert, die Fluoreszenz bei minimaler Lichteinwirkung beobachten zu können. Eine geringere Belichtung führt jedoch zu schwächeren Fluoreszenzsignalen, verringert das Signal-Rausch-Verhältnis (SNR) des Bildes und erschwert die quantitative Bildanalyse.

Daher hat die auf Fluoreszenzmikroskopie basierende Bildwiederherstellung (FMIR) im Bereich der Biowissenschaften große Aufmerksamkeit erregt. Ziel ist es, Bilder mit hohem SNR aus Bildern mit niedrigem SNR zu gewinnen, was dabei hilft, wichtige Bildinformationen im Nanomaßstab zu enthüllen.

Dank der rasanten Entwicklung der künstlichen Intelligenz haben viele auf Deep Learning basierende FMIRs derzeit die physikalischen Grenzen der Fluoreszenzmikroskopie durchbrochen und erhebliche Fortschritte erzielt.Allerdings stehen gängige Modelle immer noch vor Herausforderungen wie mangelnder Generalisierungsfähigkeit und starker Datenabhängigkeit.

In diesem Zusammenhang veröffentlichte ein Forschungsteam der School of Computer Science and Technology der Universität Fudan in Nature Methods einen Artikel mit dem Titel „Pretraining a foundation model for generalizable fluorescence microscopy-based image restoration“.Das vorgeschlagene aufgabenübergreifende, mehrdimensionale KI-Basismodell zur Bildverbesserung UniFMIR durchbricht nicht nur die bestehenden Grenzen der Fluoreszenzmikroskopie-Bildgebung, sondern bietet auch eine allgemeine Lösung zur Bildverbesserung in der Fluoreszenzmikroskopie.

Forschungshighlights:

• Das UniFMIR-Modell verbessert die Leistung von fünf Hauptaufgaben erheblich: Bild-Superauflösung, isotrope Rekonstruktion, 3D-Rauschunterdrückung, Oberflächenprojektion und Volumenrekonstruktion.

• Die Grenzen der bestehenden Fluoreszenzmikroskopie-Bildgebung durchbrechen

• Anwendbar auf verschiedene Aufgaben, Bildgebungsverfahren und biologische Strukturen durch einfache Parameteranpassung

Papieradresse:
https://www.nature.com/articles/s41592-024-02244-3 

Folgen Sie dem offiziellen Konto und antworten Sie mit „Microscopic Imaging“, um das vollständige PDF zu erhalten

Datensatz: 30 GB, 196.418 Paare von Trainingsbeispielen

Die Forscher sammelten aus 14 öffentlichen Datensätzen einen großen Trainingsdatensatz (ca. 30 GB), darunter 196.418 Paare von Trainingsbeispielen.Es wird ein breites Spektrum an Bildgebungsverfahren, biologischen Proben und Bildwiederherstellungsaufgaben abgedeckt. Gleichzeitig gruppierten die Forscher die Datensätze auch nach verschiedenen auf Fluoreszenzmikroskopie basierenden Bildrestaurierungsaufgaben und Bildgebungsverfahren.

Da sich diese Datensätze hinsichtlich Format, Domäne und Zahlenbereich stark unterscheiden, verarbeiteten die Forscher die Bilder, um das anschließende Training und die datensatzübergreifende Validierung zu erleichtern. Insbesondere schreibt es Eingabe- und GT-Bilder vorhandener Datensätze mit unterschiedlichen Speicherformaten (einschließlich „TIF“, „npz“, „png“ und „nii.gz“) in eine „.npz“-Datei. Darüber hinaus wurden die Bilder normalisiert, um die numerische Verteilung verschiedener Datensätze zu vereinheitlichen, indem die Datenverarbeitungsmethode in CARE4 befolgt wurde.

Modellarchitektur: Mehrkopf- und Mehrschwanzstruktur

Das von den Forschern erstellte UniFMIR-Modell verwendet eine Mehrkopf- und Mehrschwanzstruktur.Wie in der folgenden Abbildung dargestellt:

Speziell,UniFMIR besteht aus einem Multi-Head-Modul, einem Feature-Enhancement-Modul und einem Multi-Tail-Modul.

Das Multi-Head-Modul und das Multi-Tail-Modul verwenden unterschiedliche Zweige, um oberflächliche Merkmale für bestimmte Aufgaben zu extrahieren und genaue Ergebnisse für unterschiedliche Bildwiederherstellungsprobleme zu erzielen.

Das Modul zur Merkmalsverbesserung verwendet die erweiterte Swin-Transformer-Struktur, um die Merkmalsdarstellung zu verbessern und universelle und effektive Merkmale zu rekonstruieren, wodurch eine qualitativ hochwertige Bildwiederherstellung auf der Grundlage der Fluoreszenzmikroskopie erreicht wird. Verschiedene auf Fluoreszenzmikroskopie basierende Bildwiederherstellungsvorgänge decken unterschiedliche Kopf- und Schwanzzweige ab, nutzen jedoch dasselbe Modul zur Funktionsverbesserung.

Das UniFMIR-Modell ist in PyTorch implementiert und mithilfe der adaptiven Momentschätzung (Adam) optimiert.Darunter waren β1 = 0,9, β2 = 0,999 und insgesamt wurden 500 Epochen trainiert. Die anfängliche Lernrate beträgt 5 × 10^-5  Zunächst wird die Rate nach 200 Epochen halbiert. Alle Experimente wurden auf einer Maschine durchgeführt, die mit einer Nvidia GeForce RTX 3090 GPU mit 24 GB Speicher ausgestattet war.

In der Vortrainingsphase geben die Forscher alle Trainingsdaten in das Modell ein und verwenden die entsprechenden Daten, um verschiedene Kopf- und Endzweige zur Ausführung verschiedener Aufgaben zu optimieren. Der mittlere Zweig zur Merkmalsverbesserung wird unter Verwendung aller Trainingsdaten optimiert.

Während der Feinabstimmungsphase legten die Forscher die Batchgröße/Patchgröße für die Aufgaben Bild-Superauflösung, isotrope Rekonstruktion, 3D-Rauschunterdrückung, Oberflächenprojektion und Volumenrekonstruktion auf 4/128, 32/64, 32/64, 4/64 und 1/16 fest, um bessere Lerneffekte zu erzielen.

Das Modell wird vorab trainiert, indem umfangreiche Datensätze gesammelt und die Modellparameter mithilfe von Daten aus verschiedenen Bildverbesserungsaufgaben feinabgestimmt werden.UniFMIR zeigt eine bessere Verbesserungsleistung und Generalisierung als proprietäre Modelle.

Forschungsergebnisse: Deutlich verbesserte Leistung bei 5 Hauptaufgaben

Die Forschungsergebnisse zeigen, dass das KI-Basismodell UniFMIR zur Bildverbesserung mit Fluoreszenzmikroskopen die Leistung bei fünf Hauptaufgaben erheblich verbessert hat: „Bild-Superauflösung, isotrope Rekonstruktion, 3D-Rauschunterdrückung, Oberflächenprojektion und Volumenrekonstruktion“.

• Super Resolution (SR)

Wir haben zunächst das Potenzial des UniFMIR-Ansatzes zur Lösung von SR-Problemen validiert. Dazu wurden Bilder zunehmender struktureller Komplexität verwendet, darunter zellbeschichtete Gruben (CCPs), endoplasmatisches Retikulum (ERs), Mikrotubuli (MTs) und faseriges Aktin (F-Aktin), die mithilfe eines multimodalen strukturierten Beleuchtungsmikroskopiesystems aufgenommen wurden.

UniFMIR hat erfolgreich SR-SIM-Bilder aus Weitfeldbildern (WF) mit hohen Fluoreszenzwerten im beugungsbegrenzten Maßstab abgeleitet und klare Strukturdetails aufgedeckt.

Im Vergleich zu zwei auf Deep Learning basierenden SR-Modellen für Fluoreszenzmikroskopie (XTC15 und DFCAN5) und einem Einzelbild-Superauflösungsmodell (ENLCN36) ist UniFMIR in der Lage, die meisten Mikrotubuli-Bilder korrekt zu rekonstruieren, ohne sie zu verpassen oder zusammenzuführen, selbst wenn die Mikrotubuli dicht verteilt und nahe beieinander liegen. Für verschiedene subzelluläre Strukturen konnte UniFMIR außerdem hohle, ringförmige CCPs und ineinander verschlungene F-Aktin-Fasern mit hoher Genauigkeit wiederherstellen.

Die Forscher quantifizierten außerdem die erreichte SR-Genauigkeit mithilfe des Peak Signal-to-Noise Ratio (PSNR), der Structural Similarity Index Metric (SSIM), des normalisierten Root Mean Square Error (NRMSE), der Auflösungsschätzung aus der Dekorationsanalyse, der Fourier Ring Correlation (FRC), der SQUIRREL-Analyse und der Segmentierungsmetriken, wie in der Abbildung oben dargestellt.

Bei der Auswertung der Fluoreszenzintensität und -struktur von SR-SIM-Bildern weisen höhere PSNR/SSIM-Werte und niedrigere NRMSE-Werte auf eine bessere SR hin, und UniFMIR schneidet bei diesen Messwerten deutlich besser ab.

• Isotrope Rekonstruktion

Isotropie bedeutet, dass sich die physikalischen, chemischen und sonstigen Eigenschaften eines Objekts in verschiedene Richtungen nicht ändern. Beispielsweise weisen alle Gase, Flüssigkeiten (außer Flüssigkristallen) und amorphen Objekte Isotropie auf. Im Gegensatz dazu bedeutet Anisotropie, dass sich alle oder ein Teil der chemischen, physikalischen und sonstigen Eigenschaften einer Substanz bei Richtungsänderungen ändern und in unterschiedlichen Richtungen unterschiedliche Eigenschaften aufweisen.

Die Forscher wandten UniFMIR auf anisotrope Rohdaten der volumetrischen Bildgebung von Mauslebern an, um isotrope axiale Schnitte vorherzusagen, und verglichen sie mit zwei auf Deep Learning basierenden isotropen Rekonstruktionsmodellen (CARE- und 3D-U-Net-Modellen).

Die Ergebnisse zeigen, dass UniFMIR genauere isotrope Rekonstruktionsergebnisse mit Pixelverteilung liefert.

• 3D-Rauschunterdrückung

Darüber hinaus haben die Forscher die Leistung von UniFMIR bei der Aufgabe der Rauschunterdrückung lebender Zellbilder anhand der Planaria- und Tribolium-Datensätze getestet.

Im Vergleich zu zwei auf U-Net basierenden Rauschunterdrückungsmodellen, CARE und GVTNets, unterdrückte das UniFMIR-Modell das Rauschen von Fluoreszenzmikroskopiebildern mit niedrigem Signal-Rausch-Verhältnis bei unterschiedlichen Laserleistungen/Belichtungszeiten erheblich und stellte die Volumina von Plattwürmern (S. mediterranea) und roten Mistkäfern mit markierten Kernen klar dar, was für die Beobachtung der Embryonalentwicklung hilfreich ist.

• Oberflächenprojektion

Um das Verhalten sich entwickelnder Epithelzellen in Drosophila melanogaster besser analysieren und untersuchen zu können, hilft die Oberflächenprojektion dabei, ein 3D-Volumen in ein 2D-Oberflächenbild zu projizieren. Aktuelle Deep-Learning-Modelle (ARE und GVTNets) unterteilen dieses Problem der Bildwiederherstellung in zwei Unterprobleme, nämlich die 3D-zu-2D-Oberflächenprojektion und die 2D-Bildrauschunterdrückung, und verwenden zwei aufgabenspezifische Netzwerke, um sie nach demselben Encoder-Decoder-Framework wie U-Net zu lösen.

Die in dieser Studie vorgeschlagene Methode untersucht UniFMIR weiter in einer komplexeren Aufgabe der Bildwiederherstellung mittels zusammengesetzter Fluoreszenzmikroskopie.Im Vergleich zu ARE und GVTNets erreicht UniFMIR eine höhere Genauigkeit bei der Projektionsrekonstruktion in Bezug auf die PSNR/SSIM/NRMSE-Metriken.

• Volumenrekonstruktion

Im Experiment überprüften die Forscher auch die Fähigkeit von UniFMIR, eine Volumenrekonstruktion anhand der von VCD-Net bereitgestellten Daten durchzuführen. Das rekonstruierte 3D-Volumen jeder Ansicht kann die Bewegungsbahn des abgebildeten Objekts identifizieren, wie in der Abbildung unten gezeigt. Dies hilft, die grundlegenden Mechanismen vieler komplexer Dynamiken lebender Zellen aufzudecken, an denen verschiedene subzelluläre Strukturen beteiligt sind.

Zusammenfassend lässt sich sagen, dass ein mit UniFMIR ausgestattetes Fluoreszenzmikroskop zu einer „Wunderwaffe“ in biowissenschaftlichen Laboren werden könnte. Wissenschaftler können die winzigen Strukturen und komplexen Prozesse in lebenden Zellen deutlicher beobachten, was wissenschaftliche Entdeckungen und medizinische Innovationen in den Biowissenschaften, der medizinischen Forschung und der Krankheitsdiagnose auf der ganzen Welt beschleunigt.

Gleichzeitig kann diese Errungenschaft in den Bereichen Halbleiterherstellung, Forschung und Entwicklung neuer Materialien usw. genutzt werden, um die Qualität der Beobachtung und Analyse der Materialmikrostruktur zu verbessern und so Herstellungsprozesse zu optimieren und die Produktqualität zu verbessern. In Zukunft können die Wissenschaftler des Life Science Laboratory die Bildrekonstruktionsfunktionen von UniFMIR kontinuierlich verbessern, indem sie die Menge und den Reichtum der Trainingsdaten weiter ausbauen.

KI treibt ein neues Paradigma in der Bildverarbeitung in den Biowissenschaften voran

Heutzutage erzeugen Fortschritte in der Mikroskopie große Mengen an Bilddaten und die Frage, wie Bilder effizient verarbeitet werden können, ist ein wichtiger Teil der Forschung im biomedizinischen Bereich. Während künstliche Intelligenz weiterhin bahnbrechende Durchbrüche in der Biowissenschaftsforschung erzielt, ist ein neues Paradigma der KI-gesteuerten Bildverarbeitung entstanden.

Im Jahr 2020 hat ein Professor für Bioingenieurwesen an der Rice University in Houston, Texas, in Zusammenarbeit mit dem MD Anderson Cancer Centerentwickelte ein Computermikroskop namens DeepDOF,Das Mikroskop basiert auf KI-Technologie und seine Schärfentiefe kann bei gleichbleibender Auflösung mehr als das Fünffache herkömmlicher Mikroskope erreichen, wodurch die für die Bildverarbeitung erforderliche Zeit erheblich reduziert wird.

Im Jahr 2021 entwickelte ein Forschungsteam des Weill Cornell Medical College eine Computertechnik, umDurch die Anwendung von Algorithmen zur Lokalisierungsbildrekonstruktion auf die Spitzenpositionen in der Rasterkraftmikroskopie (AFM) und herkömmlichen AFM-Daten wird die Auflösung über die durch den Spitzenradius gesetzte Grenze hinaus verbessert.Es kann auch einzelne Aminosäurereste auf der Proteinoberfläche unter nativen und dynamischen Bedingungen auflösen, wodurch die Auflösung von AFM erheblich verbessert wird. Die Methode enthüllt Details von Proteinen und anderen biologischen Strukturen im atomaren Maßstab unter normalen physiologischen Bedingungen und öffnet ein neues Fenster in die Zellbiologie, Virologie und andere mikroskopische Prozesse.

Im April 2024 wurde in einem Artikel des MIT, des Broad Institute of MIT und der Harvard University sowie des Massachusetts General Hospital ein neues KI-Tool vorgestellt, das Unsicherheiten in medizinischen Bildern erfassen kann.Das System mit dem Namen Tyche (nach dem griechischen Gott des Zufalls) bietet mehrere plausible Segmentierungen, die jeweils einen leicht anderen Bereich des medizinischen Bildes hervorheben.Benutzer können angeben, wie viele Optionen Tyche ausgeben soll, und diejenige auswählen, die ihrem Zweck am besten entspricht.

Zusammenfassend lässt sich sagen, dass KI zur Verbesserung, Segmentierung, Registrierung und Rekonstruktion biomedizinischer Bilder eingesetzt werden kann, um die Bildqualität zu verbessern und nützliche Informationen zu extrahieren, wodurch Mikroskope mit „Adleraugen“ ausgestattet werden. Mithilfe künstlicher Intelligenz werden Mikroskope künftig klarer sehen und Daten schneller, automatischer und genauer verarbeiten, wodurch die wissenschaftliche Forschung effizienter und einfacher wird.

Quellen:
1.https://www.nature.com/articles/s41592-024-02244-3
2.https://news.fudan.edu.cn/2024/0413/c5a140009/page.htm
3.https://new.qq.com/rain/a/20240417A06LF900
4.http://www.phirda.com/artilce_28453.html?cId=1
5.https://www.ebiotrade.com/newsf/2024-4/20240412015712482.htm