„Ich freue mich, die rote Nationalflagge auf dem Platz des Himmlischen Friedens in Peking gehisst zu sehen.“

Wenn Sie diesen Satz schnell lesen, werden Sie vielleicht feststellen, dass die wenigen Worte „Ich habe die Flaggenhissungszeremonie auf dem Platz des Himmlischen Friedens gesehen“ die Informationen zusammenfassen können, die wir brauchen. Mit anderen Worten: Sie müssen es nicht Wort für Wort lesen, sondern können alle Informationen entschlüsseln, indem Sie die wichtigsten Punkte erfassen. Kann man das Gleiche also über die wissenschaftliche Forschung sagen?

Davon inspiriert kombinierten Forscher künstliche Intelligenz (KI) mit Mikroskopietechnologie, um die KI darauf zu trainieren, wichtige Merkmale in Proben aktiv zu identifizieren, damit die Forscher sie analysieren können. Im Gegensatz zum Vollpunkt-Scannen von Proben in der herkömmlichen Mikroskopietechnologie hat die KI+-Mikroskopiemethode die Art und Weise, wie Forscher Probendaten erhalten, völlig verändert, den experimentellen Prozess erheblich beschleunigt und ein „schnelles Lesen“ auf mikroskopischer Ebene ermöglicht.

Autor | Null hinzufügen

Herausgeber | Xuecai, Provinz Sanyang

Das Prinzip der Mikroskopie besteht darin, durch das Abtasten von Proben räumlich aufgelöste Signale zu erzeugen, diese Signale zur Analyse aufzufangen und so ein Bild der Probe zu erzeugen. Mit der kontinuierlichen Weiterentwicklung der InstrumentierungstechnologieDie Scangeschwindigkeit und Auflösung von Mikroskopen wurden erheblich verbessert.

Allerdings haben hochauflösende Rastermikroskopie-Experimente einige erhebliche Nachteile:Die erzeugte Datenmenge ist enorm und die Sonde verursacht großen Schaden an der Probe.Beispielsweise wird eine Röntgenbildgebung eines 1 mm^3 großen Volumens mit einer Auflösung von ≈10 nm durchgeführt.Herkömmliche Scanmethoden erzeugen 10^15 Voxel an Daten und erfordern eine ziemlich große Sondendosis.

Gleichzeitig weisen die meisten Bereiche in der Stichprobe eine geringe Informationsdichte auf und können direkt ignoriert werden.Im Gegenteil: Eine kleine Anzahl von Bereichen mit „Grenzen, Defekten, Sonderelementen“ enthält wertvolle Informationen und muss eingehend untersucht werden..

Um Schlüsselbereiche mit hoher Informationsdichte genau zu lokalisieren, sind herkömmliche Methoden hauptsächlich auf erfahrene Bediener angewiesen, die die Daten analysieren und das Scannen der Sonden leiten, was den Arbeitsaufwand erheblich erhöht und den Fortschritt des Experiments verlangsamt.

Ist es also möglich, KI einzuführen, um Forschern dabei zu helfen, Forschungsprioritäten in Proben zu erkennen und die Datenerfassung und -analyse zu beschleunigen?

Künstlerische Darstellung automatisierter Dunkelfeld-Rastermikroskopie-Experimente an der APS.

Zu diesem Zweck haben Forscher am Argonne National Laboratory in den USA FAST (Fast Autonomous Scanning Toolkit) entwickelt, ein schnelles automatisches Scan-Kit, das sich vom Vollpunkt-Scannen herkömmlicher Forschungsproben unter dem Mikroskop unterscheidet.Mit FAST kann KI den gescannten Standort automatisch identifizieren und so Probeninformationen effizient und genau erfassen.Die entsprechenden Ergebnisse wurden in „Nature Communications“ veröffentlicht.

Ähnliche Ergebnisse wurden in „Advanced Science“ veröffentlicht.

In Simulationen und Dunkelfeld-Röntgenmikroskopie-Experimenten führten FAST-Forscher FAST-Scans an WSe2-Filmen durch. Die Ergebnisse zeigten, dassEin FAST-Scan von <25% reicht aus, um die Probe genau abzubilden und zu analysieren.

Link zum Artikel:

https://www.nature.com/articles/s41467-023-40339-1

Experimentelle Verfahren

Trainingsdaten:Verwenden allgemeiner Bildtrainingsalgorithmen

Der von FAST verwendete Algorithmus muss nicht mit großen Datensätzen trainiert werden und die KI kann generische Bilder verwenden, um interessante Bereiche zu identifizieren.

Die Trainingsdaten wurden aus öffentlich verfügbaren Bildern aus den MIT-Bibliotheken, der USC-SIPI-Bilddatenbank und dem Scikit-Image-Softwarepaket generiert.

Beispiele für verwendete Testbilder

SCHNELL:Toolkit für schnelles autonomes Scannen

FAST steht für Fast Autonomous Scanning Toolkit.Es kombiniert die SLADS-Net-Methode, Pfadoptimierungstechnologie und effiziente und modulare Hardwaresteuerung.ist eine Suite schneller, autonomer Scan-Tools für die Echtzeit-Abtastung und Scan-Pfadauswahl in der synchrotronbasierten Scan-Mikroskopie.

SCHNELLER Workflow

A:Eine Reihe quasi-zufälliger Anfangsmessungen wird an das Edge-Gerät übertragen, das wiederum eine erste Stichprobenschätzung generiert, die nächsten zu messenden Kandidatenpunkte berechnet und den Messpfad berechnet. Die neuen Messungen werden mit den vorhandenen kombiniert, um eine neue Schätzung zu berechnen, und der Vorgang wird wiederholt, bis das Abschlusskriterium erreicht ist.

B:Zu Beginn der Kandidatenpunktoperation wird jeder nicht gemessene Punkt überprüft. PIn der lokalen Umgebung (mit einem Radius von r) werden die gemessenen Punkte hervorgehoben und so ein 6-dimensionaler Merkmalsvektor generiert. Die Merkmalsvektoren wurden mithilfe eines Radialbasisfunktionskerns (RBF) in 50-dimensionale Vektoren umgewandelt und als Eingabe für ein mehrschichtiges neuronales Netzwerk (NN) verwendet. Als nächstes misst das neuronale Netzwerk (NN) den Punkt P  Sagen Sie die erwartete Verbesserung der Bilder voraus (ERD). Eine Gruppe nicht gemessener Pixel mit dem höchsten ERD wird als Kandidaten für die nächste Messung ausgewählt.

Das FAST-Training basiert nicht auf spezifischen Beispieldaten.Es ist möglich, eine komplexe (nicht-binäre) Probe dynamisch zu messen und zu rekonstruieren, was sich vom vorhandenen SLADS-basierten Arbeitsablauf unterscheidet. Darüber hinaus sind die Rechenkosten im Vergleich zur Erfassungszeit vernachlässigbar, selbst wenn sie auf einem Edge-Computing-Gerät mit geringem Stromverbrauch (an einer Synchrotron-Strahllinie) ausgeführt werden, was für allgemeinere autonome experimentelle Techniken einen erheblichen Vorteil darstellt.

Diese Funktionen ermöglichen die Anwendung von FAST auf das vorhandene hochpräzise Nano-Rasterröntgenmikroskop an der APS-Hartröntgen-Nanosonden-Strahllinie.

Leistungsüberprüfung

SCHNELL:Besser als statische Stichprobenverfahren

Um die Leistung von FAST zu überprüfen, führten die Forscher Vergleichsexperimente mit drei anderen statischen Sampling-Techniken durch.

Themen:Das heißt, der Testdatensatz ist ein Dunkelfeldbild mit 600 × 400 Pixeln, das 240.000 mögliche Messpositionen darstellt, eine physikalische Fläche von 900 × 600 μm abdeckt und mehrere WSe2-Scheiben unterschiedlicher Dicke enthält.

Vergleichsmethode:Die drei statischen Stichprobenverfahren sind Raster Grid Sampling (RG), Uniform Random Sampling (UR) und Low-Discrepancy Quasi-Random Sampling (LDR).

Versuchsablauf:Bei gleicher Scan-Abdeckung werden FAST-, RG-, UR- und LDR-Sampling-Rekonstruktionsbilder generiert.

Vergleich 1:

Vergleich von FAST- und statischen Sampling-Rekonstruktionsbildern

A:Ground-Truth-Bild, die Farbskala stellt die normalisierte Intensität dar

BD:RG-, LDR- und FAST-Rekonstruktionsbilder unter 10%-Scan-Abdeckung

Die Ergebnisse zeigen:Durch die FAST-Abtastung können Grenzen, Blasen und Übergangsbereiche zwischen unterschiedlichen Dickenniveaus in den Versuchsobjekten mit hoher Genauigkeit reproduziert werden.

Vergleich 2:

Leistungsvergleich von FAST- und statischen Sampling-Methoden bei unterschiedlicher Scan-Abdeckung

A:Der normalisierte quadrierte mittlere Fehler (NRMSE) variiert mit der Scan-Abdeckung, und niedrigere Werte weisen auf eine bessere Leistung hin;

B:Das Maß für die strukturelle Ähnlichkeit (SSIM) variiert mit der Scan-Abdeckung. Je höher der Wert, desto besser die Leistung.

Die Ergebnisse zeigen:FAST verfügt über eine hohe Abtasteffizienz und kann eine stabile Rekonstruktion erreichen, wenn die Scan-Abdeckung 27% erreicht; Die drei statischen Abtastmethoden benötigen mehr Zeit, um den gleichen Effekt zu erzielen.

Vergleich Drei:

Tatsächliche Messpositionen von FAST und zwei statischen Abtastmethoden bei einer Abdeckungsrate von 10% unter denselben Abtastbedingungen

Die Ergebnisse zeigen, dassDie mit FAST rekonstruierten Strukturen weisen eine hohe Ähnlichkeit und einen geringen Fehler auf.

Durch den Einsatz ausgefeilterer Inpainting-Techniken im FAST-Verfahren können die Ergebnisse zukünftig noch weiter verbessert werden.

Die Vergleichsergebnisse der oben genannten drei Gruppen zeigen:

FAST übertrifft statische Sampling-Techniken. FAST beprobt bevorzugt Bereiche mit erheblicher Heterogenität statt homogener Bereiche. Dadurch wird die Zeit für ineffektives Sampling in leeren Bereichen erheblich reduziert und ist besonders effektiv bei spärlichen Samples.

SCHNELL: Effiziente und genaue Dunkelfeldbildrekonstruktion

In Synchrotron-Strahllinienexperimenten stellte FAST seine hervorragende Leistungsfähigkeit erneut unter Beweis.

Der experimentelle Prozess wurde vollständig von der KI gesteuert und die Forscher griffen außer beim Starten des FAST-Skripts in nichts ein. Die experimentelle Probe ist eine deformierte WSe2-Flocke mit einer räumlichen Auflösung von 100 nm.

Die Entwicklung des FAST-Scannens

A, C, E:FAST rekonstruierte Dunkelfeldbilder bei 5%, 15% und 20% Scan-Abdeckung;

B, D, F:Die entsprechenden tatsächlichen Messpunkte;

G:Bild erhalten durch Punkt-für-Punkt-Scannen des gesamten Rasters (100%-Abdeckung);

AG:Die Farbskala zeigt die normalisierte Intensität;

H:Es werden nur Stichprobenpunkte zwischen der Abdeckung 15%-20% angezeigt.

Die obige Abbildung zeigt, dass bei geringer Scan-AbdeckungDie FAST-Methode identifizierte bevorzugt einige heterogene Regionen.Wie der Rand einer Blase; Mit zunehmender Scan-Abdeckung wird das Rekonstruktionsergebnis immer klarer und das rekonstruierte Bild erreicht Stabilität zwischen der Scan-Abdeckung von 15%-20%.

20% Scan-Abdeckung,FAST kann alle wichtigen Merkmale im vollständigen Scanbild klar und genau wiedergeben.Gleichzeitig können dadurch etwa 80 Minuten (≈65%) Experimentierzeit eingespart werden, was die Effizienz des Experiments erheblich verbessert.

Die Zukunft von KI + Mikroskopie

Der Vorteil des FAST-Verfahrens liegt nicht nur in der verbesserten Effizienz der mikroskopischen Datenerfassung, sondern auch in seinem breiten Anwendungsspektrum.Tao Zhou, ein Wissenschaftler vom Argonne National Laboratory in den USA, sagte: „Von Röntgenmikroskopen über Elektronenmikroskope bis hin zu Atomsondenmikroskopen kann diese Technologie jede mikroskopische Forschung voranbringen, die ein zweidimensionales Scannen erfordert.“

Auch im Bereich der Mikroskopie wird die KI-Technologie künftig stärker zum Einsatz kommen. Durch Training übernimmt die KI nach und nach Aufgaben wie die automatisierte Bildanalyse und -erkennung, die Bildverbesserung und -rekonstruktion, die quantitative Analyse und die Krankheitsdiagnose.

Die KI- und Mikroskopietechnologie bewegt sich in Richtung einer klareren, effizienteren und präziseren Zukunft, und die Grenzen der wissenschaftlichen Forschung werden sich weiter erweitern.

Referenzlinks:

[1]https://www.nature.com/articles/s41467-023-40339-1

[2]https://phys.org/news/2023-10-artificial-intelligence-scientists-self-driving-microscopy.html

[3]Ein überwachter Lernansatz für dynamisches Sampling