La microscopie électronique (ME) a ouvert à l'humanité une fenêtre sans précédent sur le monde atomique, permettant l'observation directe des défauts, des distorsions du réseau cristallin et des inhomogénéités chimiques qui déterminent les performances des catalyseurs, des batteries et des semi-conducteurs. Malgré l'explosion du volume de données issues de la microscopie électronique, un problème majeur persiste : la plupart des jeux de données ne sont toujours pas entièrement analysés.Ce n'est pas parce que cela manque de valeur scientifique, mais parce que le processus d'interprétation par les experts est lent, fragmenté et difficile à reproduire.

Ces dernières années, les progrès de l'intelligence artificielle ont ouvert de nouvelles perspectives pour exploiter pleinement le potentiel scientifique des données de microscopie électronique. Cependant, en raison de la diversité des modalités d'imagerie et des tâches analytiques, les applications existantes restent largement cantonnées à des étapes isolées. Par exemple, AtomAI propose une méthode de segmentation à l'échelle atomique au niveau du pixel, tandis qu'AutoMat automatise l'indexation des structures.Chacune ne couvre qu'une partie spécifique du processus d'analyse EM.Cette fragmentation rend difficile la mise en relation des images microscopiques originales avec les modèles cristallographiques, les prédictions de propriétés ou les preuves documentaires, empêchant ainsi de franchir le « dernier kilomètre » entre l'observation et la compréhension.

Dès lors, une question essentielle se pose :Est-il possible de créer un « microscientifique électronique virtuel » capable de gérer de manière autonome diverses tâches d'imagerie, de parcourir différents sous-domaines des matériaux et d'intégrer des connaissances interdisciplinaires ?Si un agent intelligent peut gérer simultanément des dizaines de milliers d'images microscopiques, cela améliorera considérablement l'efficacité de la recherche scientifique humaine et accélérera l'innovation en matière de matériaux.

Dans ce contexte,Une équipe de recherche de l'université Cornell a proposé EMSeek, une plateforme multi-agents modulaire dotée de capacités de traçage à la source.EMSeek intègre la perception, la reconstruction de structure, l'inférence de propriétés et le raisonnement bibliographique dans un flux de travail unifié d'analyse en microscopie électronique. Les résultats d'évaluation sur 20 systèmes de matériaux et 5 catégories de tâches montrent qu'EMSeek atteint une vitesse environ deux fois supérieure et une précision plus élevée que Segment Anything pour les tâches de segmentation ; atteint une similarité structurelle supérieure à 90% sur l'ensemble de données STEM2Mat ; et, avec un étalonnage utilisant seulement environ 2% de données étiquetées, égale ou surpasse les performances de modèles mono-expert performants sur trois benchmarks de prédiction de propriétés hors distribution. Plus important encore,Cette méthode ne prend que 2 à 5 minutes pour analyser chaque image complètement, ce qui est environ 50 fois plus rapide qu'un processus expert.

Les résultats de cette recherche, intitulée « Relier la microscopie électronique et l'analyse des matériaux grâce à une plateforme agentique autonome », ont été publiés dans Science Advances.

Points saillants de la recherche :

* Cette recherche propose un système modulaire multi-agents doté de capacités de traçage de sources, unifiant la perception, la modélisation structurelle, l'inférence de propriétés et le raisonnement bibliographique dans un flux de travail EM reproductible.

* Des études de cas sur des réseaux bidimensionnels et des nanoparticules supportées valident la capacité de généralisation d'EMSeek, démontrant son potentiel pour accélérer la découverte de matériaux et aider les chercheurs professionnels et non professionnels.

EMSeek permet aux « scientifiques virtuels » de collaborer avec des chercheurs humains, accélérant ainsi la découverte de matériaux dans tous les domaines, de la caractérisation fondamentale à l'optimisation des dispositifs.

Adresse du document :
https://www.science.org/doi/10.1126/sciadv.aed0583
Suivez notre compte WeChat officiel et répondez « EMSeek » en arrière-plan pour obtenir le PDF complet.

Ensemble de données : Équilibrer l’étendue et la difficulté de l’analyse actuelle en microscopie électronique

Pour entraîner et évaluer SegMentor, l'unité centrale de ce système multi-agents, les chercheurs ont construit un ensemble de données de référence qui reflète l'étendue et la difficulté de l'analyse actuelle par microscopie électronique, comme le montre la figure ci-dessous :

Cet ensemble de données contient des milliers de micrographies annotées au niveau du pixel provenant de 20 systèmes de matériaux (pérovskites, alliages à haute entropie, hétérostructures de van der Waals, catalyseurs monoatomiques, etc.).Les tâches sont divisées en cinq catégories : localisation de colonnes atomiques, annotation des défauts ponctuels, extraction du contour des nanoparticules, comptage des défauts induits par irradiation et identification d’atomes uniques.

Le choix des matériaux suit trois critères :

(i) Lié à des questions clés telles que la catalyse, le stockage de l'énergie et la fiabilité des semi-conducteurs ;

(ii) Il englobe une large gamme de complexités structurelles, allant des cristaux hautement symétriques aux réseaux très défectueux ou à faible contraste ;

(iii) Il possède une diversité d'imagerie, y compris des variations de tension d'accélération, de dose et de mode de détection, ce qui teste rigoureusement la robustesse du modèle.

Des informations statistiques plus détaillées sont présentées dans le tableau ci-dessous :

Cadre EMSeek : les tâches sont planifiées de manière uniforme par un modèle de langage étendu.

Contrairement à l'utilisation d'un seul système d'apprentissage profond,EMSeek attribue des tâches à des agents spécialisés hiérarchiques, qui sont ensuite planifiés uniformément par de grands modèles de langage (LLM) pour effectuer automatiquement la planification, l'invocation et l'exécution.Cela minimise l'intervention humaine, et son cadre général est illustré dans la figure ci-dessous :

La plateforme comprend 5 unités principales, dont :

SegMentor

Ce module est responsable de la « segmentation générique » guidée par référence.Des masques à l'échelle atomique et particulaire peuvent être générés sous différentes conditions de matériaux et d'imagerie. Au cœur de SegMentor se trouve Ref-UNet, un U-Net léger dans lequel le bloc d'encodeur est remplacé par une structure visuelle, et les connexions de saut transmettent non seulement les cartes de caractéristiques, mais aussi les représentations apprises des patchs de référence sélectionnés par l'utilisateur.

Lors de la propagation avant, les patchs de référence sont tokenisés, encodés positionnellement et injectés dans chaque étage de l'encodeur via une couche d'attention croisée qui pondère les réponses des canaux en fonction de la similarité des patchs. Les vecteurs de contexte générés se propagent le long du chemin de suréchantillonnage, guidant les prédictions au niveau du pixel vers des caractéristiques correspondant à la référence tout en supprimant les interférences.

CrystalForge (EM2CIF)

Ce module effectue une recherche dans l'espace réciproque sous contraintes de masque et combine la récupération de bases de données avec la génération de candidats pour reconstruire des structures de cellules unitaires qui peuvent être utilisées pour la théorie fonctionnelle de la densité (DFT), même face à des systèmes chimiques inconnus.

MatProphète

Ce module utilise un modèle hybride expert à porte (MoE), fusionnant les sorties de plusieurs modèles inter-atomiques.L'étalonnage peut être effectué avec seulement environ 2% de données étiquetées.Il prédit également des propriétés telles que l'énergie de formation et l'énergie de défaut, ainsi que leurs incertitudes ;

Chercheur

Ce module est chargé de récupérer et de synthétiser des preuves issues d'une quantité massive de littérature afin de générer des réponses ancrées dans les citations, réduisant ainsi « l'illusion ».Il fonctionne selon une boucle en trois étapes : Recherche de documents : récupération des paragraphes candidats par le biais de requêtes de similarité denses ; Extraction de preuves : tri et filtrage des phrases, et enregistrement de la source complète (DOI et décalage de phrase) par l’intermédiaire de l’agent Guardian ; Analyse du raisonnement : organisation des preuves en un argument structuré, et injection du texte cité et du texte de soutien dans le rapport de l’utilisateur par l’agent Scribe.

Tuteur

À chaque étape de transfert, la rationalité physique, la cohérence des unités et les informations de traçabilité sont vérifiées, et Scribe intègre le masque, le fichier de structure cristalline (CIF), la fiche de données de propriétés et les références dans un rapport vérifiable.

La plateforme EMSeek simplifie la recherche sur les matériaux

La plateforme EMSeek simplifie la recherche sur les matériaux en identifiant les caractéristiques clés des images microscopiques, en déterminant les structures cristallines, en prédisant les propriétés des matériaux, en comparant les résultats à la littérature scientifique existante et en générant des rapports au sein d'un flux de travail intégré. Les chercheurs ont validé les capacités complètes d'EMSeek grâce à une série d'expériences.

EMSeek réalise une segmentation atomique universelle grâce à un « guidage en un clic ».

Les micrographies électroniques à haute résolution contiennent généralement des dizaines de milliers de colonnes atomiques dans une seule micrographie, mais il est difficile d'identifier tous les sites cristallographiquement équivalents en une seule opération de traitement, que ce soit par des méthodes manuelles ou par des outils basés sur des indices. EMSeek propose un mode de segmentation atomique « unique pour tous » : il suffit aux utilisateurs de cliquer sur un site représentatif, et le modèle peut automatiquement rechercher et étiqueter toutes les colonnes atomiques cristallographiquement similaires sur l'ensemble du champ de vision.

Les chercheurs ont entraîné Ref-UNet à l'aide d'un jeu de données multitâches. Les expériences montrent que Ref-UNet surpasse nettement le modèle Segment Anything, tant en termes de performances par tâche que de performances globales (voir figures B et E ci-dessous). Son coût de calcul est de 259 GFLOPs et il compte 28 millions de paramètres, soit environ la moitié de celui de SAM 2 Hiera-B+ (560 GFLOPs, 81 millions de paramètres).Elle permet d'atteindre une vitesse d'inférence environ deux fois supérieure sur un seul GPU, prenant ainsi en charge un retour d'information interactif en temps réel dans le flux de travail EMSeek.

En termes de mise en œuvre du système, les chercheurs ont intégré Ref-UNet comme agent de segmentation pour EMSeek et l'ont combiné à un visualiseur d'images de microscope électronique intuitif afin d'obtenir une inférence en temps réel. Comme illustré dans la figure ci-dessous,Chaque clic de l'utilisateur est converti en un modèle d'entrée tenseur de référence et renvoyé comme résultat superposé dans une seule image, permettant aux chercheurs d'optimiser de manière itérative le masque de segmentation tout en parcourant des séquences d'inclinaison ou des vidéos in situ.L'agent peut également exporter des régions d'intérêt (ROI) précises au niveau du pixel, des descriptions statistiques et des coordonnées atomiques tridimensionnelles, qui peuvent être directement intégrées dans les modules de construction automatique CIF, d'analyse de la fraction de phase et de prédiction des propriétés ultérieures.

EMSeek comble le fossé entre la microscopie électronique et la cristallographie grâce à sa fonctionnalité de « génération CIF en un clic ».

Les images de microscopie électronique sont essentielles à la résolution des structures atomiques, mais la conversion de projections bidimensionnelles bruitées en modèles cristallographiques fiables est souvent un processus délicat et laborieux. Les méthodes traditionnelles reposent généralement sur une combinaison de correspondance globale avec un gabarit et d'indexation manuelle, mais elles sont extrêmement sensibles à des facteurs tels que la dérive de contraste, l'instabilité de la platine ou du balayage, la contamination par le carbone et l'occlusion partielle par le disque de Bragg.

EMSeek évite ces problèmes en utilisant une stratégie de « segmentation d'abord, puis de reconstruction ».Comparée aux méthodes basées sur les pixels, EMSeek surpasse les structures réelles en termes de similarité structurelle : sa similarité structurelle dépasse celle de 90% sur les trois niveaux de difficulté, et elle surpasse AtomAI et AutoMat à tous les niveaux (Figure C, ci-dessous à gauche). Cet avantage est particulièrement marqué dans les scènes bruitées, car de faibles variations de contraste ou la présence de résidus de film de carbone peuvent souvent entraîner des décalages importants dans les méthodes de correspondance globale.

Outre sa robustesse, EMSeek est également capable de s'adapter à des systèmes de matériaux qui dépassent le cadre des bases de données existantes.Par conséquent, il convient non seulement à la reconstruction de structures stables dans des conditions normales, mais fournit également un soutien fiable dans des scénarios exploratoires avec un bruit élevé, des conditions d'imagerie polymorphes et des structures de réseau inconnues.

Capacité de généralisation d'EMSeek dans les tâches de matériaux réels multi-domaines

Les problèmes liés à l'analyse des matériaux par microscopie électronique sont extrêmement variés. Les méthodes d'automatisation traditionnelles reposent généralement sur des scripts personnalisés, des formats de données temporaires et un traitement manuel intensif. Des problèmes tels que le faible rapport signal/bruit, le chevauchement des comparaisons de défauts et de contraintes, la dérive du faisceau d'électrons et la rareté des annotations entravent davantage la mise en place de flux de travail entièrement automatisés. Même avec des plateformes comme AtomAI, les analystes doivent souvent réentraîner les modèles pour chaque nouveau jeu de données, ce qui prend des semaines. EMSeek rompt cette fragmentation en traduisant les requêtes des utilisateurs en messages en langage naturel et en les intégrant dans une plateforme d'agents intelligents unifiée.

La figure A ci-dessous illustre l'identification du réseau cristallin d'une monocouche de MoS₂ sur une image de microscopie électronique à transmission à balayage (STEM) : SegMentor effectue la segmentation des colonnes atomiques de Mo et S, le masque est transmis à CrystalForge (EM2CIF) pour reconstruire le réseau de MoS₂, puis MatProphet prédit les propriétés du matériau (telles que l'énergie par atome). La figure B ci-dessous présente l'analyse de nanoparticules de PtSn déposées sur Al₂O₃ amorphe : SegMentor détecte environ 73 particules quasi sphériques, et AnalyzerHub génère un histogramme de distribution de taille montrant une polydispersité modérée. Tous les masques, les statistiques de particules et les histogrammes sont enregistrés et traçables. L'ensemble du processus ne prend que quelques secondes par micrographie, et tous les résultats intermédiaires sont traçables.

Outre l'analyse d'images,EMSeek intègre également des capacités de raisonnement documentaire pour répondre aux questions scientifiques.Comme le montre la figure ci-dessous, l'intégration de la littérature spécialisée via ScholarSeeker améliore la précision et la vérifiabilité des réponses sur l'ensemble de données Metallurgy-QA, supérieures à celles obtenues avec des modèles de langage de base ou de simples recherches web. Il est important de noter que l'augmentation de données par un simple réseau peut parfois réduire les performances, car les résultats de recherche web à grande échelle contiennent souvent des informations peu pertinentes, ce qui peut entraîner des problèmes d'inadéquation des données ou de substitution de méthodes.

En revanche, en exploitant les données probantes issues de la littérature scientifique évaluée par les pairs, le système permet de réduire considérablement les idées reçues et d'améliorer la précision et l'exhaustivité des réponses. Par exemple, pour répondre à la question de savoir comment améliorer la résistance et la ténacité des alliages Mg-Al-Mn, le système peut identifier les procédés de traitement thermique faisant autorité et fournir des recommandations précises, étayées par des références.

EMSeek réduit le temps d'analyse en microscopie électronique de plusieurs semaines à quelques minutes.

Dans une étude récente de microscopie électronique à transmission (MET) in situ,Il a fallu près de 20 semaines à trois experts pour réaliser l'annotation complète de 1200 images de défauts d'irradiation.Le comptage fiable des défauts par imagerie statique classique nécessite généralement de plusieurs minutes à une heure par image. L'analyse de réseau à résolution atomique ou la cartographie des grains requièrent également plusieurs heures de travail d'experts et sont sujettes aux biais de l'analyste.

Sur le même type de données, EMSeek peut effectuer une segmentation guidée par référence, une reconstruction de réseau prenant en compte le masque, une prédiction des propriétés MatProphet MoE, une recherche et une vérification de la littérature, ainsi qu'une génération de rapports sur quatre GPU A100.Cela ne prend que 146 ± 18 secondes.Cette vitesse de traitement réduit le délai d'exécution réel de deux à trois ordres de grandeur, transformant la microscopie électronique d'un outil de diagnostic a posteriori en un moteur de test d'hypothèses et d'optimisation des processus quasi en temps réel.

Nouvelle orientation concurrentielle dans la recherche sur les matériaux futurs

D'un point de vue plus large, l'intelligence artificielle redéfinit le paradigme fondamental de la recherche en science des matériaux, notamment en libérant une efficacité sans précédent dans le maillon crucial « caractérisation-compréhension-conception ». Traditionnellement, la caractérisation des matériaux à l'échelle atomique repose largement sur des experts chevronnés, nécessitant des mois, voire des années, de formation professionnelle. Même les opérateurs les plus expérimentés peinent à garantir la stabilité et la cohérence des résultats lorsqu'il s'agit de systèmes novateurs tels que les matériaux bidimensionnels (2D). Cette forte dépendance aux ressources humaines et à l'expérience a longtemps constitué un frein à l'industrialisation et à l'automatisation de la recherche sur les matériaux, stimulant directement le développement de systèmes de caractérisation intelligents, moins gourmands en données et plus accessibles.

Un exemple représentatif est le cadre ATOMIC (Autonomous Technology for Optical Microscopy and Intelligent Characterization) proposé en 2025 par Wang Haozhe de l'université Duke et l'équipe de Ren Zhichu au MIT.Il s'agit d'un cadre de travail complet intégrant un modèle de base pour une caractérisation entièrement autonome, sans échantillon préalable, des matériaux 2D. Le système intègre un modèle visuel de base (le modèle Segment Anything), un modèle de langage étendu (ChatGPT), un clustering non supervisé et une analyse topologique, automatisant le contrôle du microscope, la numérisation des échantillons, la segmentation d'images et l'analyse intelligente grâce à une ingénierie rapide ne nécessitant aucune formation supplémentaire. Lors de l'analyse d'échantillons typiques de MoS₂, la méthode a atteint une précision de reconnaissance et de segmentation monocouche de 99,71 % TP3T, comparable à celle des professionnels.

Titre de l'article : Microscopie autonome sans acquisition d'images pour la caractérisation évolutive et intelligente des matériaux 2D
Lien vers l'article :

https://arxiv.org/abs/2504.10281

S'inspirant du cadre multi-agents d'EMSeek, ATOMIC propose une autre approche : transformer des processus expérimentaux complexes en tâches intelligentes programmables et réutilisables grâce à une automatisation de bout en bout pilotée par un modèle de base. La valeur ajoutée de ces systèmes réside dans leur capacité à s'adapter rapidement à de nouveaux matériaux grâce à une combinaison de fonctionnalités générales, sans avoir besoin de données étiquetées à grande échelle ni d'entraînements répétés pour une tâche unique.Cela signifie que l'un des principaux axes de compétition dans la recherche future sur les matériaux se déplacera vers « qui peut gérer le plus efficacement les agents intelligents et les ressources de connaissances ».

Il est prévisible que la science des matériaux entrera progressivement dans une ère de recherche « nativement IA » : les données expérimentales pourront être analysées instantanément, les prédictions des modèles et les connaissances bibliographiques pourront être reliées en temps réel, et les chercheurs seront libérés des lourdes tâches de traitement des données et des travaux répétitifs, ce qui leur permettra de se concentrer sur la formulation des questions et la conception des expériences. Dans ce processus, l’intelligence artificielle ne sera plus un simple outil auxiliaire, mais deviendra une infrastructure essentielle à la découverte et à l’innovation dans le domaine des matériaux.

Références :

https://www.science.org/doi/10.1126/sciadv.aed0583
https://phys.org/news/2026-04-ai-electron-microscopy-materials-insights.html
https://mp.weixin.qq.com/s/AaAHOpChVXj_2xQJRvqHSg