전자현미경(EM)은 인류에게 원자 세계를 들여다볼 수 있는 전례 없는 창을 제공하여 촉매, 배터리 및 반도체의 성능을 결정하는 결함, 격자 왜곡 및 화학적 불균일성을 직접 관찰할 수 있게 해주었습니다. 전자현미경 데이터의 양은 폭발적으로 증가했지만, 대부분의 데이터 세트가 아직 완전히 분석되지 않았다는 중요한 문제가 남아 있습니다.이는 과학적 가치가 부족해서가 아니라, 전문가의 해석 과정이 느리고, 단편적이며, 재현하기 어렵기 때문입니다.

최근 인공지능 기술의 발전은 전자현미경 데이터의 과학적 가치를 최대한 활용할 수 있는 새로운 가능성을 열어주었습니다. 그러나 다양한 이미징 방식과 분석 작업으로 인해 기존 응용 프로그램은 여전히 개별 단계에만 국한되어 있습니다. 예를 들어, AtomAI는 픽셀 수준에서 원자 수준의 분할을 수행하는 방법을 제공하고, AutoMat은 구조 인덱싱 자동화를 발전시킵니다.각각은 EM 분석 프로세스의 특정 부분만 다룹니다.이러한 파편화로 인해 원래의 현미경 이미지를 결정학적 모델, 특성 예측 또는 문서 증거와 연결하기 어려워지며, 따라서 관찰에서 통찰력에 이르는 "마지막 단계"를 연결하지 못하게 됩니다.

따라서 다음과 같은 중요한 질문이 제기됩니다.다양한 이미징 작업을 자율적으로 처리하고, 여러 재료 하위 분야를 넘나들며, 학제 간 지식을 통합할 수 있는 "가상 전자 현미경 과학자"를 구축하는 것이 가능할까요?지능형 에이전트가 수만 장의 현미경 이미지를 동시에 관리할 수 있다면, 인간의 과학 연구 효율성을 크게 향상시키고 재료 혁신을 가속화할 수 있을 것이다.

이러한 맥락에서,코넬 대학교의 연구팀이 소스 추적 기능을 갖춘 모듈형 다중 에이전트 플랫폼인 EMSeek을 제안했습니다.EMSeek은 인식, 구조 재구성, 속성 추론 및 문헌 추론을 통합된 전자 현미경 분석 워크플로로 구현합니다. 20가지 재료 시스템과 5가지 작업 범주에 대한 평가 결과에 따르면, EMSeek은 분할 작업에서 Segment Anything보다 약 두 배 빠른 속도와 더 높은 정확도를 달성하고, STEM2Mat 데이터 세트에서 90%를 초과하는 구조적 유사도를 보이며, 약 2%의 레이블링된 데이터만을 사용한 보정을 통해 세 가지 분포 외 속성 예측 벤치마크에서 강력한 단일 전문가 모델의 성능과 동등하거나 그 이상의 성능을 보여줍니다. 더욱 중요한 것은,이 방법은 이미지 하나를 완전히 분석하는 데 2~5분밖에 걸리지 않으며, 이는 전문가가 처리하는 방식보다 약 50배 빠릅니다.

"자율 에이전트 플랫폼을 이용한 전자 현미경과 재료 분석의 연결"이라는 제목의 관련 연구 결과가 Science Advances에 게재되었습니다.

연구 하이라이트:

* 본 연구는 재현 가능한 EM 워크플로우로 인식, 구조 모델링, 속성 추론 및 문헌 추론을 통합하는, 출처 추적 기능을 갖춘 모듈형 다중 에이전트 시스템을 제안합니다.

* 2차원 격자 및 지지된 나노입자에 대한 사례 연구는 EMSeek의 일반화 능력을 입증하며, 재료 발견을 가속화하고 전문 및 비전문 연구자 모두에게 도움을 줄 수 있는 잠재력을 보여줍니다.

EMSeek은 "가상 과학자"가 실제 연구원과 협업할 수 있도록 지원하여 기초 특성 분석부터 장치 최적화에 이르기까지 모든 분야에서 재료 발견을 가속화합니다.

서류 주소:
https://www.science.org/doi/10.1126/sciadv.aed0583
저희 공식 위챗 계정을 팔로우하고 백그라운드에서 "EMSeek"라고 답장하시면 전체 PDF 파일을 받으실 수 있습니다.

데이터셋: 현재 전자현미경 분석의 범위와 난이도의 균형

이 다중 에이전트 시스템의 핵심 구성 요소인 SegMentor를 훈련하고 평가하기 위해 연구진은 아래 그림과 같이 현재 전자 현미경 분석의 범위와 난이도를 반영하는 벤치마크 데이터 세트를 구축했습니다.

이 데이터 세트는 페로브스카이트, 고엔트로피 합금, 반데르발스 이종 구조, 단일 원자 촉매 등 20가지 재료 시스템에서 얻은 수천 개의 픽셀 수준 주석이 달린 현미경 사진을 포함합니다.작업은 원자 기둥 위치 파악, 점 결함 주석, 나노 입자 윤곽 추출, 방사선 유발 결함 계수 및 단일 원자 식별의 다섯 가지 범주로 나뉩니다.

재료 선택은 다음 세 가지 기준에 따라 이루어집니다.

(i) 촉매, 에너지 저장 및 반도체 신뢰성과 같은 주요 문제와 관련됨;

(ii) 이는 고도로 대칭적인 결정에서부터 결함이 많거나 대비가 낮은 격자에 이르기까지 광범위한 구조적 복잡성을 포함합니다.

(iii) 가속 전압, 선량 및 검출 모드의 변화를 포함한 다양한 영상화 기능을 갖추고 있어 모델의 견고성을 엄격하게 테스트합니다.

보다 자세한 통계 정보는 아래 표에 나와 있습니다.

EMSeek 프레임워크: 대규모 언어 모델을 통해 작업이 균일하게 스케줄링됩니다.

단일 딥러닝 시스템에 의존하는 것과는 달리,EMSeek은 계층적으로 특화된 에이전트에 작업을 할당하고, 이러한 에이전트는 대규모 언어 모델(LLM)에 의해 균일하게 스케줄링되어 계획, 호출 및 실행을 자동으로 완료합니다.이는 인간의 개입을 최소화하며, 전체적인 구조는 아래 그림과 같습니다.

이 플랫폼은 다음을 포함한 5개의 핵심 구성 요소로 이루어져 있습니다.

세그멘토

이 모듈은 참조 기반 "일반 분할"을 담당합니다.원자 수준 및 입자 수준의 마스크는 다양한 재료 및 이미징 조건에서 생성할 수 있습니다. SegMentor의 핵심은 Ref-UNet이라는 경량 U-Net입니다. Ref-UNet에서는 인코더 블록이 시각적 백본으로 대체되었으며, 스킵 연결은 특징 맵뿐만 아니라 사용자가 선택한 참조 패치의 학습된 임베딩도 전달합니다.

순방향 전파 과정에서 참조 패치는 토큰화되고 위치 인코딩되어, 패치 유사성을 기반으로 채널 응답에 가중치를 부여하는 크로스 어텐션 레이어를 통해 각 인코더 단계에 주입됩니다. 생성된 컨텍스트 벡터는 업샘플링 경로를 따라 전파되어 픽셀 수준 예측이 참조와 일치하는 특징에 접근하도록 유도하는 동시에 간섭을 억제합니다.

크리스탈포지(EM2CIF)

이 모듈은 마스크 제약 조건 하에서 역공간 검색을 수행하고 데이터베이스 검색과 후보 생성을 결합하여 알려지지 않은 화학 시스템에 직면했을 때에도 밀도 함수 이론(DFT)에 사용할 수 있는 단위 셀 구조를 재구성합니다.

맷프로펫

이 모듈은 여러 원자 간 모델의 출력을 융합하는 게이트형 전문가 하이브리드(MoE) 모델을 사용합니다.보정은 약 2%의 라벨링된 데이터만으로 완료할 수 있습니다.또한 형성 에너지 및 결함 에너지와 같은 속성뿐만 아니라 그 불확실성까지 예측합니다.

ScholarSeeker

이 모듈은 방대한 양의 문헌에서 증거를 검색하고 종합하여 인용 근거를 바탕으로 답변을 생성함으로써 "착각"을 줄이는 역할을 합니다.이 시스템은 3단계 루프로 작동합니다. 첫째, 문서 검색: 밀집 유사성 쿼리를 통해 후보 단락을 검색합니다. 둘째, 증거 추출: Guardian Agent를 통해 문장을 정렬 및 필터링하고 전체 출처(DOI 및 문장 오프셋)를 기록합니다. 셋째, 추론 분석: Scribe Agent를 통해 증거를 구조화된 논증으로 구성하고 인용 및 뒷받침 텍스트를 사용자 보고서에 삽입합니다.

보호자

각 인수인계 단계에서 물리적 합리성, 단위 일관성 및 추적성 정보가 검증되며, Scribe는 마스크, 결정 구조 파일(CIF), 속성 데이터 시트 및 참조를 통합하여 감사 가능한 보고서를 생성합니다.

EMSeek 플랫폼은 재료 연구를 간소화합니다.

EMSeek 플랫폼은 현미경 이미지에서 주요 특징을 식별하고, 결정 구조를 분석하고, 재료 특성을 예측하고, 기존 과학 문헌과 결과를 비교하고, 통합 워크플로우 내에서 보고서를 생성함으로써 재료 연구를 간소화합니다. 연구원들은 일련의 실험을 통해 EMSeek의 포괄적인 기능을 검증했습니다.

EMSeek은 "원클릭 안내"를 통해 보편적인 원자 분할을 구현합니다.

고해상도 전자 현미경 사진에는 일반적으로 수만 개의 원자 기둥이 포함되어 있지만, 수동 방법이나 단서 기반 도구를 사용하더라도 단일 처리 과정에서 모든 결정학적으로 동일한 위치를 식별하는 것은 어렵습니다. EMSeek은 "일대일" 원자 분할 모드를 제안합니다. 사용자는 대표 위치를 클릭하기만 하면 모델이 전체 시야에서 결정학적으로 유사한 모든 원자 기둥을 자동으로 검색하고 레이블을 지정할 수 있습니다.

연구진은 다중 작업 데이터셋을 사용하여 Ref-UNet을 학습시켰습니다. 실험 결과 Ref-UNet은 작업 성능과 전체 성능 모두에서 Segment Anything Model보다 훨씬 우수한 성능을 보였습니다(아래 그림 B 및 E 참조). Ref-UNet의 계산 비용은 259 GFLOPs이고, 파라미터 수는 2,800만 개로 SAM 2 Hiera-B+ (560 GFLOPs, 8,100만 개 파라미터)의 약 절반 수준입니다.이 기술은 단일 GPU에서 추론 속도를 약 두 배로 향상시켜 EMSeek 워크플로우에서 실시간 대화형 피드백을 지원합니다.

시스템 구현 측면에서 연구진은 Ref-UNet을 EMSeek용 분할 에이전트로 캡슐화하고 직관적인 전자 현미경 이미지 뷰어와 결합하여 실시간 추론을 구현했습니다. 아래 그림에서 볼 수 있듯이,각 사용자 클릭은 참조 텐서 입력 모델로 변환되어 단일 프레임 내에 중첩된 결과로 반환되므로 연구자는 기울기 시퀀스 또는 현장 비디오를 탐색하는 동안 분할 마스크를 반복적으로 최적화할 수 있습니다.또한, 해당 에이전트는 픽셀 수준의 정확한 관심 영역(ROI), 통계적 설명 및 3차원 원자 좌표를 내보낼 수 있으며, 이러한 정보는 자동 CIF 생성, 상 분율 분석 및 후속 속성 예측 모듈에 직접 입력할 수 있습니다.

EMSeek은 "원클릭 CIF 생성" 기능을 통해 전자 현미경과 결정학 사이의 간극을 메워줍니다.

전자 현미경 이미지는 원자 구조를 규명하는 데 매우 중요하지만, 노이즈가 많은 2차원 투영 이미지를 신뢰할 수 있는 결정학적 모델로 변환하는 과정은 종종 까다롭고 노동 집약적입니다. 기존 방법은 일반적으로 전역 템플릿 매칭과 수동 인덱싱을 조합하여 사용하지만, 명암 변화, 스테이지 또는 스캐닝 불안정성, 탄소 오염, 브래그 디스크에 의한 부분적 가림 등의 요인에 매우 민감합니다.

EMSeek은 "먼저 세그먼트를 생성한 다음 재구축"하는 전략을 사용하여 이러한 문제를 방지합니다.픽셀 기반 방식과 비교했을 때, EMSeek은 구조적 유사성 측면에서 실제 구조물을 더 잘 표현합니다. 모든 난이도에서 90%보다 구조적 유사성이 뛰어나며, 모든 난이도에서 AtomAI와 AutoMat보다도 우수합니다(아래 그림 C 왼쪽). 이러한 장점은 특히 노이즈가 많은 장면에서 두드러지는데, 미세한 명암 변화나 잔류 탄소막이 전역 매칭 방식에 상당한 영향을 미칠 수 있기 때문입니다.

EMSeek은 견고성 외에도 기존 데이터베이스의 범위를 넘어서는 재료 시스템에도 적응할 수 있습니다.따라서 이 방법은 일반적인 조건에서 안정적인 구조 재구성에 적합할 뿐만 아니라, 높은 노이즈, 다양한 영상 조건 및 알려지지 않은 격자 구조를 가진 탐색 시나리오에서도 신뢰할 수 있는 지원을 제공합니다.

EMSeek의 다중 영역 실제 재료 과제에서의 일반화 능력

전자 현미경 데이터를 기반으로 하는 재료 문제는 매우 다양합니다. 기존 자동화 방법은 일반적으로 맞춤형 스크립트, 임시 데이터 형식, 그리고 광범위한 수동 처리에 의존합니다. 낮은 신호 대 잡음비, 중복되는 결함 및 변형 비교, 전자빔 드리프트, 부족한 주석과 같은 문제들은 완전 자동화된 워크플로 구현을 더욱 어렵게 만듭니다. AtomAI와 같은 프레임워크를 사용하더라도 분석가들은 새로운 데이터 세트마다 모델을 재학습시켜야 하는 경우가 많아 몇 주가 소요됩니다. EMSeek은 사용자 요청을 자연어 프롬프트로 변환하고 이를 통합된 지능형 에이전트 프레임워크에 통합함으로써 이러한 단편적인 방식을 해결합니다.

아래 그림 A는 주사 투과 전자 현미경(STEM) 이미지에서 단층 형태의 MoS₂ 격자 식별 결과를 보여줍니다. SegMentor는 Mo와 S 원자 기둥 분할을 수행하고, 생성된 마스크를 CrystalForge(EM2CIF)에 전달하여 MoS₂ 격자를 재구성합니다. 그런 다음 MatProphet이 원자당 에너지와 같은 물질 특성을 예측합니다. 아래 그림 B는 비정질 Al₂O₃에 로딩된 PtSn 나노입자 분석 결과를 보여줍니다. SegMentor는 약 73개의 구형 입자를 검출하고, AnalyzerHub는 중간 정도의 다분산성을 나타내는 크기 분포 히스토그램을 생성합니다. 모든 마스크, 입자 통계 및 히스토그램은 기록되고 추적 가능합니다. 전체 과정은 현미경 이미지당 몇 초밖에 걸리지 않으며, 모든 중간 결과는 추적 가능합니다.

이미지 분석 외에도,EMSeek은 과학적 질문에 답하기 위한 문서 기반 추론 기능도 통합하고 있습니다.아래 그림에서 볼 수 있듯이, ScholarSeeker를 통해 도메인 문헌을 통합한 후, 야금-QA 데이터셋에 대한 응답의 정확성과 검증 가능성은 기본적인 대규모 언어 모델이나 단순 웹 검색보다 우수합니다. 대규모 웹 검색 결과에는 종종 작업과 관련성이 낮은 정보가 포함되어 증거 불일치 또는 방법 대체 문제를 야기할 수 있으므로, 단순 네트워크 증강은 오히려 성능을 저하시킬 수 있다는 점에 유의해야 합니다.

반면, 동료 평가를 거친 문헌에서 증거를 검색하고 추출함으로써 시스템은 "오해"를 크게 줄이고 답변의 정확성과 완전성을 향상시킬 수 있습니다. 예를 들어, Mg-Al-Mn 합금의 강도와 인성을 향상시키는 방법에 대한 질문에 답할 때, 시스템은 권위 있는 열처리 공정을 검색하고 참고 문헌을 제시하며 정확한 권장 사항을 제공할 수 있습니다.

EMSeek은 전자 현미경 분석 시간을 몇 주에서 몇 분으로 단축합니다.

최근 현장 투과 전자 현미경(TEM) 연구에서,세 명의 전문가가 방사선 조사 결함에 대한 1200개 프레임의 종합적인 주석 작업을 완료하는 데 거의 20주가 걸렸습니다.기존의 정적 이미지를 이용한 결함 계수 방식은 이미지당 몇 분에서 한 시간 정도 소요되는 경우가 많습니다. 원자 해상도 격자 분석이나 결정립 매핑 역시 전문가의 작업에 몇 시간이 걸리며 분석가의 편향에 취약합니다.

EMSeek은 동일한 유형의 데이터에 대해 4개의 A100 GPU를 사용하여 참조 기반 분할, 마스크 인식 격자 재구성, MatProphet MoE 속성 예측, 문헌 검색 및 검증, 보고서 생성을 완료할 수 있습니다.소요 시간은 146 ± 18초에 불과합니다.이러한 처리 속도는 실제 소요 시간을 2~3배 단축시켜 전자 현미경을 사후 진단 도구에서 거의 실시간 가설 검증 및 프로세스 최적화 도구로 탈바꿈시킵니다.

미래 소재 연구의 새로운 경쟁적 초점

더 넓은 관점에서 볼 때, 인공지능은 재료과학 연구의 근본적인 패러다임을 재편하고 있으며, 특히 "특성 분석-이해-설계"라는 핵심 연결 고리에서 전례 없는 효율성을 창출하고 있습니다. 전통적으로 원자 수준의 재료 특성 분석은 수개월에서 수년에 걸친 전문 교육을 필요로 하는 숙련된 전문가에 크게 의존해 왔습니다. 심지어 경험이 풍부한 전문가조차도 2차원(2D) 재료와 같은 새로운 시스템을 다룰 때는 결과의 안정성과 일관성을 보장하는 데 어려움을 겪습니다. 이러한 인적 자원과 경험에 대한 높은 의존성은 오랫동안 재료 연구의 규모 확장과 자동화를 가로막는 병목 현상이었으며, 이는 "더 적은 데이터와 더 낮은 진입 장벽"을 요구하는 지능형 특성 분석 시스템 개발을 직접적으로 촉진해 왔습니다.

대표적인 예로, 듀크 대학교의 왕하오저 교수와 MIT의 런즈추 연구팀이 2025년에 제안한 ATOMIC(Autonomous Technology for Optical Microscopy and Intelligent Characterization) 프레임워크를 들 수 있다.이것은 2D 재료의 완전 자율적인 제로 샘플 특성화를 달성하기 위해 기본 모델을 통합하는 엔드 투 엔드 프레임워크입니다. 이 시스템은 시각적 기본 모델(즉, Segment Anything 모델), 대규모 언어 모델(즉, ChatGPT), 비지도 클러스터링 및 위상 분석을 통합하여 추가 교육 없이 신속한 엔지니어링을 통해 현미경 제어, 샘플 스캔, 이미지 분할 및 지능형 분석을 자동화합니다. 일반적인 MoS(2) 샘플을 분석하는 데 있어 이 방법은 전문가 수준에 필적하는 99.71 TP3T의 단일 레이어 인식 및 분할 정확도를 달성했습니다.

논문 제목: 확장 가능하고 지능적인 2D 재료 특성 분석을 위한 제로샷 자율 현미경 기술
논문 링크:

https://arxiv.org/abs/2504.10281

EMSeek의 멀티 에이전트 프레임워크를 본떠, ATOMIC은 또 다른 접근 방식을 제시합니다. 바로 기본 모델 기반의 엔드투엔드 자동화를 통해 복잡한 실험 과정을 프로그래밍 가능하고 재사용 가능한 지능형 작업으로 변환하는 것입니다. 이러한 시스템들의 공통적인 가치는 대규모 레이블링 데이터나 단일 작업에 대한 반복적인 학습에 더 이상 의존하지 않고, 일반적인 기능들을 결합하여 새로운 재료 시스템에 신속하게 적응할 수 있다는 점에 있습니다.이는 미래 재료 연구 분야의 핵심 경쟁 구도가 "누가 지능형 에이전트와 지식 자원을 더 효율적으로 관리할 수 있는가"로 바뀔 것임을 의미합니다.

재료과학 분야는 점차 '인공지능 기반' 연구 시대로 접어들 것으로 예상됩니다. 실험 데이터를 즉시 분석하고, 모델 예측과 문헌 지식을 실시간으로 연계할 수 있게 되며, 연구자들은 방대한 데이터 처리와 반복적인 작업에서 벗어나 연구 질문을 구체화하고 실험을 설계하는 데 집중할 수 있게 될 것입니다. 이러한 과정에서 인공지능은 단순한 보조 도구가 아닌, 재료 발견과 혁신을 이끄는 핵심 인프라로 자리매김할 것입니다.

참고문헌:

https://www.science.org/doi/10.1126/sciadv.aed0583
https://phys.org/news/2026-04-ai-electron-microscopy-materials-insights.html
https://mp.weixin.qq.com/s/AaAHOpChVXj_2xQJRvqHSg