Die Elektronenmikroskopie (EM) hat der Menschheit ein beispielloses Fenster in die atomare Welt geöffnet und ermöglicht die direkte Beobachtung von Defekten, Gitterverzerrungen und chemischen Inhomogenitäten, die die Leistungsfähigkeit von Katalysatoren, Batterien und Halbleitern bestimmen. Obwohl die Menge an elektronenmikroskopischen Daten explosionsartig zugenommen hat, besteht weiterhin ein erhebliches Problem darin, dass die meisten Datensätze noch nicht vollständig analysiert sind.Dies liegt nicht daran, dass es an wissenschaftlichem Wert mangelt, sondern daran, dass der Interpretationsprozess durch Experten langsam, fragmentiert und schwer reproduzierbar ist.

In den letzten Jahren haben Fortschritte in der KI-Technologie neue Möglichkeiten eröffnet, den vollen wissenschaftlichen Wert von Elektronenmikroskopiedaten auszuschöpfen. Aufgrund der Vielfalt an Bildgebungsverfahren und Analyseaufgaben beschränken sich bestehende Anwendungen jedoch größtenteils auf einzelne Schritte. AtomAI bietet beispielsweise eine Methode zur Segmentierung auf atomarer Ebene auf Pixelebene, während AutoMat die Automatisierung der Strukturindizierung vorantreibt.Jeder dieser Ansätze deckt nur einen bestimmten Teil des EM-Analyseprozesses ab.Durch diese Fragmentierung wird es schwierig, die ursprünglichen mikroskopischen Bilder mit kristallographischen Modellen, Eigenschaftsvorhersagen oder dokumentarischen Belegen zu verknüpfen, wodurch die „letzte Meile“ von der Beobachtung zur Erkenntnis nicht überbrückt werden kann.

Daher stellt sich eine Schlüsselfrage:Ist es möglich, einen „virtuellen Elektronenmikrowissenschaftler“ zu erschaffen, der in der Lage ist, autonom verschiedene Bildgebungsaufgaben zu bewältigen, unterschiedliche Material-Teilgebiete zu durchdringen und interdisziplinäres Wissen zu integrieren?Wenn ein intelligenter Agent Zehntausende mikroskopischer Bilder gleichzeitig verwalten kann, wird dies die Effizienz der menschlichen wissenschaftlichen Forschung erheblich verbessern und die Materialinnovation beschleunigen.

In diesem ZusammenhangEin Forschungsteam der Cornell University hat EMSeek vorgeschlagen, eine modulare Multiagentenplattform mit Quellverfolgungsfunktionen.EMSeek integriert Wahrnehmung, Strukturrekonstruktion, Eigenschaftsableitung und Literaturanalyse in einen einheitlichen Workflow für die Elektronenmikroskopie-Analyse. Evaluierungsergebnisse an 20 Materialsystemen und 5 Aufgabenkategorien zeigen, dass EMSeek bei Segmentierungsaufgaben etwa doppelt so schnell und genauer als Segment Anything ist; eine strukturelle Ähnlichkeit von über 90% auf dem STEM2Mat-Datensatz erreicht; und mit einer Kalibrierung anhand von nur etwa 2% an annotierten Daten die Leistung leistungsstarker Einzelexpertenmodelle bei drei Benchmarks zur Vorhersage von Materialeigenschaften erreicht oder übertrifft. Noch wichtiger ist jedoch,Diese Methode benötigt nur 2 bis 5 Minuten, um jedes Bild vollständig abzufragen, was etwa 50 Mal schneller ist als ein Prozess mit einem Experten.

Die zugehörigen Forschungsergebnisse mit dem Titel „Bridging electron microscopy and materials analysis with an autonomous agentic platform“ wurden in Science Advances veröffentlicht.

Forschungshighlights:

* Diese Forschungsarbeit schlägt ein modulares Multiagentensystem mit Quellverfolgungsfunktionen vor, das Wahrnehmung, Strukturmodellierung, Eigenschaftsableitung und Literaturanalyse in einen reproduzierbaren EM-Workflow vereint.

* Fallstudien zu zweidimensionalen Gittern und unterstützten Nanopartikeln bestätigen die Generalisierungsfähigkeit von EMSeek und demonstrieren sein Potenzial, die Materialforschung zu beschleunigen und sowohl professionelle als auch nicht-professionelle Forscher zu unterstützen.

EMSeek ermöglicht es „virtuellen Wissenschaftlern“, mit menschlichen Forschern zusammenzuarbeiten und so die Materialforschung in allen Bereichen zu beschleunigen – von der grundlegenden Charakterisierung bis zur Geräteoptimierung.

Papieradresse:
https://www.science.org/doi/10.1126/sciadv.aed0583
Folgen Sie unserem offiziellen WeChat-Konto und antworten Sie im Hintergrund mit „EMSeek“, um das vollständige PDF zu erhalten.

Datensatz: Ausgewogenheit zwischen Breite und Schwierigkeit der aktuellen Elektronenmikroskopieanalyse

Um SegMentor, die Kerneinheit dieses Multiagentensystems, zu trainieren und zu evaluieren, erstellten die Forscher einen Benchmark-Datensatz, der die Bandbreite und Schwierigkeit der aktuellen Elektronenmikroskopie-Analyse widerspiegelt, wie in der folgenden Abbildung dargestellt:

Dieser Datensatz enthält Tausende von pixelgenau annotierten Mikrographen aus 20 Materialsystemen (Perowskite, Hoch-Entropie-Legierungen, Van-der-Waals-Heterostrukturen, Einzelatomkatalysatoren usw.).Die Aufgaben sind in fünf Kategorien unterteilt: Lokalisierung atomarer Spalten, Annotation von Punktdefekten, Extraktion von Nanopartikelkonturen, Zählung strahlungsinduzierter Defekte und Identifizierung einzelner Atome.

Die Materialauswahl erfolgt nach drei Kriterien:

(i) Im Zusammenhang mit Schlüsselthemen wie Katalyse, Energiespeicherung und Halbleiterzuverlässigkeit;

(ii) Es umfasst ein breites Spektrum an strukturellen Komplexitäten, von hochsymmetrischen Kristallen bis hin zu stark defekten oder kontrastarmen Gittern;

(iii) Es verfügt über eine hohe Bildgebungsdiversität, einschließlich Variationen der Beschleunigungsspannung, der Dosis und des Detektionsmodus, wodurch die Robustheit des Modells auf die Probe gestellt wird.

Detailliertere statistische Informationen sind in der folgenden Tabelle dargestellt:

EMSeek-Framework: Aufgaben werden einheitlich durch ein großes Sprachmodell geplant.

Im Gegensatz zur Nutzung eines einzelnen Deep-Learning-Systems,EMSeek weist hierarchisch spezialisierten Agenten Aufgaben zu, die dann von großen Sprachmodellen (LLMs) einheitlich eingeplant werden, um Planung, Aufruf und Ausführung automatisch abzuschließen.Dadurch wird der menschliche Eingriff minimiert, und das Gesamtkonzept ist in der folgenden Abbildung dargestellt:

Die Plattform umfasst 5 Kernkomponenten, darunter:

SegMentor

Dieses Modul ist für die referenzbasierte „generische Segmentierung“ zuständig.Atomare und partikelförmige Masken können unter verschiedenen Material- und Abbildungsbedingungen erzeugt werden. Das Herzstück von SegMentor ist Ref-UNet, ein leichtgewichtiges U-Net, bei dem der Encoder-Block durch ein visuelles Backbone ersetzt wird und Skip-Verbindungen nicht nur Feature-Maps, sondern auch gelernte Einbettungen von vom Benutzer ausgewählten Referenz-Patches weitergeben.

Während der Vorwärtspropagierung werden Referenz-Patches tokenisiert, positionell kodiert und über eine Cross-Attention-Schicht in jede Encoder-Stufe eingespeist. Diese Schicht gewichtet die Kanalantworten basierend auf der Patch-Ähnlichkeit neu. Die generierten Kontextvektoren propagieren entlang des Upsampling-Pfades und steuern die Vorhersagen auf Pixelebene so, dass sie sich den Referenzmerkmalen annähern und gleichzeitig Interferenzen unterdrücken.

CrystalForge (EM2CIF)

Dieses Modul führt eine Suche im reziproken Raum unter Maskenbeschränkungen durch und kombiniert Datenbankabfragen mit der Generierung von Kandidaten, um Einheitszellenstrukturen zu rekonstruieren, die für die Dichtefunktionaltheorie (DFT) verwendet werden können, selbst wenn es sich um unbekannte chemische Systeme handelt.

MatProphet

Dieses Modul verwendet ein Gated Expert Hybrid (MoE)-Modell, das die Ausgaben mehrerer interatomarer Modelle fusioniert.Die Kalibrierung kann mit nur etwa 2% gekennzeichneten Daten abgeschlossen werden.Es sagt auch Eigenschaften wie Bildungsenergie und Defektenergie sowie deren Unsicherheiten voraus;

ScholarSeeker

Dieses Modul ist dafür zuständig, Erkenntnisse aus einer riesigen Menge an Literatur zu gewinnen und zu synthetisieren, um Antworten mit Zitatverankerung zu generieren und so die "Illusion" zu reduzieren.Es arbeitet in einer dreistufigen Schleife: Dokumentenabruf: Kandidatenabsätze durch dichte Ähnlichkeitsabfragen abrufen; Beweisextraktion: Sätze sortieren und filtern und die vollständige Quelle (DOI und Satzversatz) durch den Guardian Agent aufzeichnen; Argumentationsanalyse: Die Beweise zu einem strukturierten Argument organisieren und den zitierten und unterstützenden Text durch den Scribe Agent in den Benutzerbericht einfügen.

Wächter

Bei jedem Übergabeschritt werden die physikalische Plausibilität, die Konsistenz der Einheiten und die Rückverfolgbarkeitsinformationen überprüft, und Scribe integriert die Maske, die Kristallstrukturdatei (CIF), das Eigenschaftsdatenblatt und die Referenzen in einen revisionssicheren Bericht.

Die EMSeek-Plattform vereinfacht die Materialforschung

Die EMSeek-Plattform vereinfacht die Materialforschung, indem sie in mikroskopischen Bildern wichtige Merkmale identifiziert, Kristallstrukturen bestimmt, Materialeigenschaften vorhersagt, Ergebnisse mit der bestehenden wissenschaftlichen Literatur vergleicht und Berichte innerhalb eines integrierten Workflows erstellt. Forscher haben die umfassenden Fähigkeiten von EMSeek in einer Reihe von Experimenten validiert.

EMSeek erreicht universelle atomare Segmentierung durch „Ein-Klick-Anleitung“.

Hochauflösende Elektronenmikroskopaufnahmen enthalten typischerweise Zehntausende von Atomspalten in einer einzigen Aufnahme, aber es ist schwierig, alle kristallographisch äquivalenten Stellen in einem einzigen Verarbeitungsdurchlauf zu identifizieren, sei es mit manuellen Methoden oder mit Hilfe von Hinweisen. EMSeek schlägt einen „One-for-All“-Modus für die Atomsegmentierung vor: Der Benutzer muss lediglich auf eine repräsentative Stelle klicken, und das Modell kann automatisch alle kristallographisch ähnlichen Atomspalten im gesamten Sichtfeld suchen und kennzeichnen.

Die Forscher trainierten Ref-UNet mithilfe eines Multi-Task-Datensatzes. Experimente zeigen, dass Ref-UNet das Segment Anything Model sowohl in der Aufgabenleistung als auch in der Gesamtleistung deutlich übertrifft (siehe Abbildungen B und E unten). Der Rechenaufwand beträgt 259 GFLOPs, und die Anzahl der Parameter liegt bei 28 Millionen, also nur etwa halb so hoch wie bei SAM 2 Hiera-B+ (560 GFLOPs, 81 Millionen Parameter).Es erreicht eine etwa doppelt so hohe Inferenzgeschwindigkeit wie eine einzelne GPU und unterstützt dadurch interaktives Echtzeit-Feedback im EMSeek-Workflow.

Im Hinblick auf die Systemimplementierung kapselten die Forscher Ref-UNet als Segmentierungsagenten für EMSeek und kombinierten es mit einem intuitiven Bildbetrachter für Elektronenmikroskope, um Echtzeit-Inferenz zu erreichen. Wie in der folgenden Abbildung dargestellt,Jeder Benutzerklick wird in ein Referenz-Tensor-Eingabemodell umgewandelt und als überlagertes Ergebnis innerhalb eines einzelnen Frames zurückgegeben. Dies ermöglicht es Forschern, die Segmentierungsmaske iterativ zu optimieren, während sie Kippsequenzen oder In-situ-Videos durchsuchen.Der Agent kann außerdem pixelgenaue Regionen von Interesse (ROI), statistische Beschreibungen und dreidimensionale Atomkoordinaten exportieren, die direkt in die automatische CIF-Konstruktion, die Phasenanteilsanalyse und die nachfolgenden Eigenschaftsvorhersagemodule eingegeben werden können.

EMSeek schließt die Lücke zwischen Elektronenmikroskopie und Kristallographie mit seiner Funktion zur „CIF-Generierung mit einem Klick“.

Elektronenmikroskopische Aufnahmen sind für die Aufklärung atomarer Strukturen unerlässlich, doch die Umwandlung verrauschter zweidimensionaler Projektionen in zuverlässige kristallographische Modelle ist oft ein heikler und aufwendiger Prozess. Traditionelle Methoden basieren typischerweise auf einer Kombination aus globalem Template-Matching und manueller Indizierung, reagieren aber äußerst empfindlich auf Faktoren wie Kontrastdrift, Instabilität des Probentisches oder des Scanners, Kohlenstoffverunreinigungen und teilweise Verdeckung durch die Bragg-Scheibe.

EMSeek umgeht diese Probleme durch die Anwendung einer Strategie, bei der zuerst segmentiert und dann neu aufgebaut wird.Im Vergleich zu pixelbasierten Methoden übertrifft EMSeek reale Strukturen hinsichtlich der strukturellen Ähnlichkeit: Die strukturelle Ähnlichkeit ist in allen drei Schwierigkeitsstufen höher als die von 90% und übertrifft AtomAI und AutoMat in allen Stufen (Abbildung C, links unten). Dieser Vorteil ist besonders in stark verrauschten Szenen ausgeprägt, da geringfügige Kontraständerungen oder Restkohlenstofffilme oft erhebliche Verschiebungen bei globalen Matching-Methoden verursachen können.

Zusätzlich zu seiner Robustheit ist EMSeek auch in der Lage, sich an Materialsysteme anzupassen, die über den Umfang bestehender Datenbanken hinausgehen.Daher eignet es sich nicht nur für die stabile Strukturrekonstruktion unter normalen Bedingungen, sondern bietet auch zuverlässige Unterstützung in explorativen Szenarien mit hohem Rauschen, polymorphen Abbildungsbedingungen und unbekannten Gitterstrukturen.

EMSeeks Generalisierungsfähigkeit bei realen Materialaufgaben in mehreren Domänen

Materialprobleme, die auf Elektronenmikroskopiedaten basieren, sind äußerst vielfältig. Traditionelle Automatisierungsmethoden beruhen typischerweise auf benutzerdefinierten Skripten, temporären Datenformaten und umfangreicher manueller Nachbearbeitung. Probleme wie ein niedriges Signal-Rausch-Verhältnis, überlappende Defekt- und Dehnungsvergleiche, Elektronenstrahldrift und unzureichende Annotationen erschweren die Realisierung vollständig automatisierter Arbeitsabläufe zusätzlich. Selbst mit Frameworks wie AtomAI müssen Analysten Modelle oft für jeden neuen Datensatz neu trainieren, was Wochen in Anspruch nimmt. EMSeek durchbricht diese Fragmentierung, indem es Benutzeranfragen in natürlichsprachliche Anweisungen übersetzt und in ein einheitliches Framework intelligenter Agenten integriert.

Abbildung A unten zeigt die Gitteridentifizierung einer einlagigen MoS₂-Struktur in einer Rastertransmissionselektronenmikroskopie-Aufnahme (STEM): SegMentor führt die Segmentierung der Mo- und S-Atomsäulen durch, die Maske wird an CrystalForge (EM2CIF) zur Rekonstruktion des MoS₂-Gitters übergeben, und anschließend berechnet MatProphet die Materialeigenschaften (z. B. die Energie pro Atom). Abbildung B unten zeigt die Analyse von PtSn-Nanopartikeln auf amorphem Al₂O₃: SegMentor detektiert etwa 73 annähernd kugelförmige Partikel, und AnalyzerHub generiert ein Größenverteilungshistogramm mit moderater Polydispersität. Alle Masken- und Partikelstatistiken sowie Histogramme werden aufgezeichnet und sind nachvollziehbar. Der gesamte Prozess dauert nur wenige Sekunden pro Mikrographie, und alle Zwischenergebnisse sind nachvollziehbar.

Zusätzlich zur Bildanalyse,EMSeek integriert außerdem dokumentenbasierte Schlussfolgerungsfunktionen zur Beantwortung wissenschaftlicher Fragen.Wie die Abbildung unten zeigt, sind die Genauigkeit und Überprüfbarkeit der Antworten im Metallurgy-QA-Datensatz nach Einbindung der Fachliteratur über ScholarSeeker besser als bei einfachen großen Sprachmodellen oder simplen Websuchen. Es ist jedoch anzumerken, dass eine einfache Netzwerkerweiterung die Leistung mitunter sogar verschlechtern kann, da umfangreiche Web-Retrieval-Ergebnisse oft nur schwach relevante Informationen enthalten, was zu Diskrepanzen zwischen den Ergebnissen oder zu Methodensubstitutionen führen kann.

Im Gegensatz dazu kann das System durch die Auswertung von Erkenntnissen aus Fachliteratur „Irrtümer“ deutlich reduzieren und die Genauigkeit und Vollständigkeit der Antworten verbessern. Beispielsweise kann es bei der Beantwortung der Frage, wie die Festigkeit und Zähigkeit von Mg-Al-Mn-Legierungen verbessert werden können, anerkannte Wärmebehandlungsverfahren ermitteln und präzise Empfehlungen mit Quellenangaben liefern.

EMSeek verkürzt die Analysezeit für Elektronenmikroskopie von Wochen auf Minuten.

In einer kürzlich durchgeführten In-situ-Transmissionselektronenmikroskopie-Studie (TEM),Drei Experten benötigten fast 20 Wochen, um die umfassende Annotation von 1200 Bildern mit Bestrahlungsdefekten abzuschließen.Konventionelle statische Bilder benötigen typischerweise mehrere Minuten bis zu einer Stunde pro Bild, um Defekte zuverlässig zu zählen. Auch die Gitteranalyse mit atomarer Auflösung oder die Kornkartierung erfordern stundenlange Expertenarbeit und sind anfällig für die Voreingenommenheit des Analytikers.

Auf Basis derselben Daten kann EMSeek auf vier A100 GPUs referenzgestützte Segmentierung, maskenbasierte Gitterrekonstruktion, MatProphet MoE-Eigenschaftsvorhersage, Literatursuche und -verifizierung sowie Berichtserstellung durchführen.Es dauert nur 146 ± 18 Sekunden.Diese Verarbeitungsgeschwindigkeit reduziert die tatsächliche Bearbeitungszeit um zwei bis drei Größenordnungen und wandelt die Elektronenmikroskopie von einem nachträglichen Diagnosewerkzeug in ein nahezu in Echtzeit arbeitendes Instrument zur Hypothesenprüfung und Prozessoptimierung.

Neuer Wettbewerbsschwerpunkt in der zukünftigen Materialforschung

Aus einer umfassenderen Perspektive verändert künstliche Intelligenz das grundlegende Paradigma der Materialforschung und ermöglicht insbesondere eine beispiellose Effizienzsteigerung im entscheidenden Bereich „Charakterisierung – Verständnis – Design“. Traditionell war die Charakterisierung von Materialien auf atomarer Ebene stark von erfahrenen Experten abhängig, was monate- oder sogar jahrelange Schulungen erforderte. Selbst erfahrene Anwender haben Schwierigkeiten, die Stabilität und Konsistenz der Ergebnisse bei neuartigen Systemen wie zweidimensionalen (2D) Materialien zu gewährleisten. Diese starke Abhängigkeit von menschlichen Ressourcen und Erfahrung war lange Zeit ein Engpass für die Skalierung und Automatisierung der Materialforschung und treibt die Entwicklung intelligenter Charakterisierungssysteme voran, die weniger Daten benötigen und einen leichteren Einstieg ermöglichen.

Ein repräsentatives Beispiel ist das ATOMIC-Framework (Autonomous Technology for Optical Microscopy and Intelligent Characterization), das 2025 von Wang Haozhe von der Duke University und dem Team von Ren Zhichu am MIT vorgeschlagen wurde.Dies ist ein durchgängiges Framework, das ein Basismodell integriert, um eine vollautomatische Charakterisierung von 2D-Materialien ohne Proben zu ermöglichen. Das System integriert ein visuelles Basismodell (das Segment Anything-Modell), ein umfangreiches Sprachmodell (ChatGPT), unüberwachtes Clustering und topologische Analyse. Mikroskopsteuerung, Probenscanning, Bildsegmentierung und intelligente Analyse werden durch schnelle Entwicklung ohne zusätzliches Training automatisiert. Bei der Analyse typischer MoS₂-Proben erreichte die Methode eine Erkennungs- und Segmentierungsgenauigkeit von 99,71 TP3T auf Einzelschichtebene, vergleichbar mit der von Fachleuten.

Titel der Arbeit: Autonome Mikroskopie ohne Einzelaufnahmen zur skalierbaren und intelligenten Charakterisierung von 2D-Materialien
Link zum Artikel:

https://arxiv.org/abs/2504.10281

In Anlehnung an das Multiagenten-Framework von EMSeek zeigt ATOMIC einen anderen Weg auf: die Transformation komplexer experimenteller Prozesse in programmierbare und wiederverwendbare intelligente Aufgaben durch durchgängige Automatisierung auf Basis eines Modells. Der gemeinsame Vorteil dieser Systeme liegt darin, dass sie nicht mehr auf umfangreiche, annotierte Daten oder wiederholtes Training für eine einzelne Aufgabe angewiesen sind, sondern sich durch die Kombination allgemeiner Fähigkeiten schnell an neue Materialsysteme anpassen.Dies bedeutet, dass sich einer der wichtigsten Wettbewerbsbereiche in der zukünftigen Materialforschung dahingehend verlagern wird, „wer intelligente Agenten und Wissensressourcen effizienter verwalten kann“.

Es ist absehbar, dass die Materialwissenschaft schrittweise in eine Ära der KI-gestützten Forschung eintreten wird: Experimentelle Daten können unmittelbar analysiert, Modellvorhersagen und Literaturwissen in Echtzeit verknüpft werden, und Forschende werden von aufwendiger Datenverarbeitung und sich wiederholenden Aufgaben entlastet, sodass sie sich auf die Formulierung von Fragestellungen und die Konzeption von Experimenten konzentrieren können. Künstliche Intelligenz ist dabei nicht länger nur ein Hilfsmittel, sondern entwickelt sich zu einer zentralen Infrastruktur, die die Materialforschung und -innovation vorantreibt.

Quellen:

https://www.science.org/doi/10.1126/sciadv.aed0583
https://phys.org/news/2026-04-ai-electron-microscopy-materials-insights.html
https://mp.weixin.qq.com/s/AaAHOpChVXj_2xQJRvqHSg