"베이징 천안문 광장에 붉은 국기가 게양되는 것을 보고 기쁘다"

이 문장을 빨리 읽어보면, "나는 천안문 광장에서 국기 게양식을 지켜봤다"라는 몇 마디만으로도 우리에게 필요한 정보를 요약할 수 있다는 것을 알 수 있습니다. 즉, 단어 하나하나를 다 읽을 필요 없이, 핵심 요점만 파악하면 모든 정보를 해독할 수 있다는 뜻입니다. 그러면 과학 연구에도 똑같은 것이 적용될 수 있을까요?

여기에서 영감을 얻은 연구진은 인공지능(AI)과 현미경 기술을 결합하여 AI를 훈련시켜 연구자들이 분석할 수 있도록 샘플의 주요 특징을 적극적으로 식별하도록 했습니다. 기존 현미경 기술의 샘플 전체 스캐닝과 달리 AI+현미경 방식은 연구자가 샘플 데이터를 얻는 방식을 완전히 바꾸어 실험 과정을 크게 가속화했으며, 현미경 수준에서 '빠른 판독'을 달성했습니다.

저자 | 0을 추가하다

편집자 | 쉐차이, 산양

현미경의 원리는 샘플을 스캐닝하여 공간적으로 분해 가능한 신호를 생성하고, 분석을 위해 신호를 수집하여 샘플의 이미지를 형성하는 것입니다. 계측 기술의 지속적인 발전으로현미경의 스캐닝 속도와 해상도가 크게 향상되었습니다.

그러나 고해상도 주사 현미경 실험에는 몇 가지 중요한 단점이 있습니다.생성되는 데이터의 양이 엄청나고, 탐침이 샘플에 큰 손상을 입힙니다.예를 들어, 1 mm^3 부피의 X선 영상은 약 10 nm의 분해능으로 수행됩니다.기존의 스캐닝 방법은 10^15 폭셀의 데이터를 생성하고 상당히 큰 프로브 선량이 필요합니다.

동시에, 샘플의 대부분 영역은 정보 밀도가 낮고 바로 무시할 수 있습니다.반면, 소수의 "경계, 결함, 특수 요소" 영역에는 풍부한 정보가 담겨 있어 심층적인 연구가 필요합니다..

정보 밀도가 높은 핵심 영역을 정확하게 찾아내기 위해 기존 방식에서는 주로 경험이 풍부한 작업자가 데이터를 분석하고 프로브 스캐닝을 안내하는 데 의존했는데, 이로 인해 작업량이 크게 늘어나고 실험 진행 속도가 느려졌습니다.

그렇다면 연구자들이 샘플에서 연구 우선순위를 파악하고 데이터 수집 및 분석 속도를 높이는 데 도움이 되는 AI를 도입하는 것이 가능할까요?

APS의 자동 암시야 주사 현미경 실험에 대한 예술가의 인상.

이를 위해 미국 Argonne National Laboratory의 연구진은 기존 현미경 연구 시료의 풀포인트 스캐닝과 다른 빠른 자동 스캐닝 키트인 FAST(Fast Autonomous Scanning Toolkit)를 개발했습니다.FAST를 사용하면 AI가 스캔 위치를 자동으로 식별하여 효율적이고 정확하게 샘플 정보를 얻을 수 있습니다.관련 결과는 "Nature Communications"에 게재되었습니다.

관련 결과는 "Advanced Science"에 게재되었습니다.

시뮬레이션과 암시야 X선 현미경 실험에서 FAST 연구원들은 WSe2 필름에 대한 FAST 스캔을 수행했습니다. 결과는 다음과 같습니다.<25%의 FAST 스캔은 샘플을 정확하게 이미지화하고 분석하기에 충분합니다.

논문 링크:

https://www.nature.com/articles/s41467-023-40339-1

실험 절차

훈련 데이터:일반 이미지 학습 알고리즘 사용

FAST가 사용하는 알고리즘은 대규모 데이터 세트를 사용하여 학습할 필요가 없으며, AI는 일반 이미지를 사용하여 관심 영역을 식별할 수 있습니다.

훈련 데이터는 MIT 도서관, USC-SIPI 이미지 데이터베이스, Scikit-image 소프트웨어 패키지의 공개 이미지에서 생성되었습니다.

사용된 테스트 이미지의 예

빠른:고속 자율 스캐닝 툴 키트

FAST는 Fast Autonomous Scanning Toolkit의 약자입니다.이는 SLADS-Net 방식, 경로 최적화 기술, 효율적이고 모듈식 하드웨어 제어를 결합한 것입니다.싱크로트론 기반 주사 현미경에서 실시간 샘플링과 스캔 경로 선택을 위한 고속 자율 스캐닝 도구 모음입니다.

빠른 워크플로

에이:일련의 준무작위 초기 측정값이 에지 장치로 전송되고, 에지 장치는 이를 통해 초기 샘플 추정값을 생성하고, 측정할 다음 후보 지점을 계산하고, 측정 경로를 계산합니다. 새로운 측정값을 기존 측정값과 결합하여 새로운 추정치를 계산하고, 완료 기준에 도달할 때까지 이 과정을 반복합니다.

비:후보 지점 작업을 시작할 때 측정되지 않은 각 지점을 확인합니다. 피반경 r의 로컬 이웃에서 측정된 지점이 강조 표시되어 6차원 특징 벡터가 생성됩니다. 특징 벡터는 방사형 기저 함수(RBF) 커널을 사용하여 50차원 벡터로 변환되었고 다층 신경망(NN)의 입력으로 사용되었습니다. 다음으로 신경망(NN)은 지점을 측정합니다. 피  이미지의 예상 개선 사항을 예측합니다(ERD). 가장 높은 ERD를 가진 측정되지 않은 픽셀 그룹이 다음 측정을 위한 후보로 선택됩니다.

FAST 훈련은 특정 샘플 데이터에 의존하지 않습니다.기존 SLADS 기반 워크플로와 달리 복잡한(비이진) 샘플을 동적으로 측정하고 재구성하는 것이 가능합니다. 더욱이 저전력 엣지 컴퓨팅 장치(싱크로트론 빔라인에 위치)에서 실행하더라도 수집 시간에 비해 계산 비용은 무시할 만하며, 이는 보다 일반적인 자율 실험 기술에 큰 장점입니다.

이러한 특징 덕분에 FAST는 APS 경질 X선 나노탐침 빔라인에서 기존의 고정밀 나노스케일 주사 X선 현미경 장비에 적용될 수 있습니다.

성능 검증

빠른:정적 샘플링 방법보다 더 나은

FAST의 성능을 검증하기 위해 연구진은 다른 세 가지 정적 샘플링 기술을 사용하여 비교 실험을 수행했습니다.

과목:즉, 테스트 데이터 세트는 240,000개의 측정 가능한 위치를 나타내는 600×400픽셀 암시야 이미지이며, 900×600μm의 물리적 영역을 포괄하며 두께가 다른 여러 개의 WSe2 슬라이스를 포함합니다.

비교 방법:세 가지 정적 샘플링 기술은 래스터 그리드 샘플링(RG), 균일 무작위 샘플링(UR), 저불일치 준무작위 샘플링(LDR)입니다.

실험 과정:동일한 스캐닝 범위에서 FAST, RG, UR 및 LDR 샘플링 재구성 이미지가 생성됩니다.

비교 1:

FAST와 정적 샘플링 재구성 이미지 비교

에이:실제 이미지, 색상 스케일은 정규화된 강도를 나타냅니다.

비디:10% 스캐닝 범위 내의 RG, LDR 및 FAST 재구성 이미지

결과는 다음과 같습니다.FAST 샘플링은 실험 대상에서 서로 다른 두께 수준 사이의 경계, 거품, 전환 영역을 높은 충실도로 재현할 수 있습니다.

비교 2:

다양한 스캔 범위에서 FAST 및 정적 샘플링 방법의 성능 비교

에이:정규화된 제곱 평균 오차(NRMSE)는 스캔 범위에 따라 달라지며, 값이 낮을수록 성능이 더 좋음을 나타냅니다.

비:구조적 유사성 측정(SSIM)은 스캔 범위에 따라 달라지며, 값이 높을수록 성능이 우수합니다.

결과는 다음과 같습니다.FAST는 높은 샘플링 효율을 가지고 있으며 스캐닝 범위가 27%에 도달하면 안정적인 재구성을 달성할 수 있습니다. 세 가지 정적 샘플링 방법은 동일한 효과를 얻는 데 더 오랜 시간이 필요합니다.

비교 3:

동일한 샘플링 조건에서 커버리지 속도 10%에서 FAST와 두 가지 정적 샘플링 방법의 실제 측정 위치

결과는 다음과 같습니다FAST로 재구성된 구조는 유사성이 높고 오류가 낮습니다.

앞으로는 FAST 방법에 더욱 정교한 인페인팅 기술을 적용하면 결과를 더욱 개선할 수 있을 것입니다.

위 세 그룹의 비교 결과는 다음과 같습니다.

FAST는 정적 샘플링 기술보다 성능이 뛰어납니다. FAST는 동질적인 지역보다는 이질성이 큰 지역을 우선적으로 샘플링합니다. 이를 통해 빈 영역에서 비효율적인 샘플링 시간을 크게 줄일 수 있으며, 특히 샘플이 희소한 경우에 효과적입니다.

FAST: 효율적이고 정확한 암시야 이미지 재구성 기능

싱크로트론 빔라인 실험에서 FAST는 뛰어난 성능을 더욱 입증했습니다.

실험 과정은 AI가 완전히 자율적으로 진행했으며, 연구자들은 FAST 스크립트를 시작하는 것 외에는 아무것도 개입하지 않았습니다. 실험 샘플은 공간 분해능이 100nm인 변형된 WSe2 플레이크입니다.

FAST 스캐닝의 진화

A, C, E:5%, 15% 및 20% 스캔 범위에서 FAST 재구성 암시야 이미지

비, 디, 에프:해당 실제 측정 지점

G:전체 그리드 지점별 스캐닝을 통해 얻은 이미지(100% 적용 범위)

AG:색상 척도는 정규화된 강도를 보여줍니다.

시간:15%-20% 범위 사이의 샘플링 포인트만 표시됩니다.

위 그림은 스캔 커버리지가 낮은 경우를 보여줍니다.FAST 방법은 일부 이질적인 지역을 우선적으로 식별했습니다.예를 들어 거품의 가장자리와 같은 경우, 스캐닝 범위가 점차 증가함에 따라 재구성 결과는 점점 더 명확해지고 재구성된 영상은 15%-20%의 스캐닝 범위 사이에서 안정성을 얻습니다.

20% 스캐닝 범위,FAST는 전체 스캔 이미지의 모든 주요 특징을 명확하고 정확하게 재현할 수 있습니다.동시에 실험 시간을 약 80분(≈65%) 절약하여 실험 효율성을 크게 향상시키는 데 도움이 됩니다.

AI + 현미경의 미래

FAST 공정의 장점은 미세한 데이터 수집의 효율성을 향상시키는 것뿐만 아니라, 다양한 분야에 적용할 수 있다는 것입니다.미국 아르곤 국립연구소의 과학자 타오 저우(Tao Zhou)는 "X선 현미경부터 전자 현미경, 원자 탐침 현미경까지 이 기술은 2차원 스캐닝이 필요한 모든 현미경 연구에 힘을 실어줄 수 있다"고 말했습니다.

앞으로 AI 기술은 현미경 분야에도 더욱 깊이 적용될 것입니다. AI는 훈련을 통해 점차 자동화된 이미지 분석 및 인식, 이미지 향상 및 재구성, 정량적 분석, 질병 진단 등의 업무를 담당하게 됩니다.

AI + 현미경 기술은 더욱 명확하고 효율적이며 정확한 미래를 향해 나아가고 있으며, 과학 연구의 경계는 계속해서 확장될 것입니다.

참조 링크:

[1]https://www.nature.com/articles/s41467-023-40339-1

[2]https://phys.org/news/2023-10-인공지능과학자-자가운전-현미경.html

[3] 동적 샘플링을 위한 지도 학습 접근 방식