30GB와 거의 20만 쌍의 훈련 샘플을 수집한 복단대학교 팀은 UniFMIR: AI를 사용하여 미세 이미징의 한계를 깨는 것을 발표했습니다.

형광현미경은 생명과학 분야에서 필수적이고 중요한 연구 도구입니다. 원리는 자외선을 광원으로 사용하여 검사 대상을 비추어 형광을 내도록 한 다음, 현미경으로 대상의 모양과 위치를 관찰하는 것입니다. 세포 내에서 물질의 흡수와 이동, 화학 물질의 분포와 위치 등을 연구하는 데 사용될 수 있습니다.

그러나 여기광에 고강도로 노출되면 광화학적 과정을 통해 세포에 직접적 또는 간접적으로 영향을 미칠 수 있습니다. 장시간 살아있는 세포에 대한 실험을 하는 경우, 최소한의 빛 노출로 형광을 관찰하는 것이 바람직합니다. 그러나 노출이 낮으면 형광 신호가 약해지고, 이미지 신호 대 잡음비(SNR)가 감소하며, 정량적 이미지 분석이 더 어려워집니다.

따라서 형광현미경 기반 이미지 복원(FMIR)은 생명과학 분야에서 폭넓은 주목을 받고 있습니다. 이 기술의 목적은 낮은 SNR 이미지에서 높은 SNR 이미지를 얻어 중요한 나노스케일 이미징 정보를 밝혀내는 것입니다.

현재 인공지능 기술의 급속한 발전에 힘입어 딥러닝을 기반으로 하는 많은 FMIR이 형광현미경의 물리적 한계를 돌파하고 상당한 진전을 이루었습니다.그러나 주류 모델은 여전히 일반화 능력이 부족하고 데이터 의존성이 강한 등의 문제에 직면해 있습니다.

이와 관련하여, 복단대학교 컴퓨터과학기술학부 연구팀은 Nature Methods에 "일반화 가능한 형광현미경 기반 이미지 복원을 위한 기초 모델 사전 학습"이라는 제목의 논문을 발표했습니다.제안된 교차 작업, 다차원 이미지 향상 기본 AI 모델인 UniFMIR은 형광 현미경 이미징의 기존 한계를 돌파할 뿐만 아니라 형광 현미경 이미지 향상을 위한 일반적인 솔루션을 제공합니다.

연구 하이라이트:

• UniFMIR 모델은 영상 초고해상도, 등방성 재구성, 3D 노이즈 제거, 표면 투영, 볼륨 재구성이라는 5가지 주요 작업의 성능을 크게 향상시킵니다.

• 기존 형광현미경 이미징의 한계를 돌파하다

• 간단한 매개변수 조정을 통해 다양한 작업, 이미징 방식 및 생물학적 구조에 적용 가능

서류 주소:
https://www.nature.com/articles/s41592-024-02244-3 

공식 계정을 팔로우하고 "Microscopic Imaging"에 답글을 남겨 전체 PDF를 받으세요.

데이터 세트: 30GB, 196,418쌍의 훈련 샘플

연구진은 196,418쌍의 훈련 샘플을 포함하여 14개의 공개 데이터 세트에서 대규모 훈련 데이터 세트(약 30GB)를 수집했습니다.광범위한 영상 모달리티, 생물학적 샘플, 영상 복원 작업이 다루어집니다. 동시에 연구진은 다양한 형광 현미경 기반 이미지 복원 작업과 이미징 방법에 따라 데이터 세트를 그룹화했습니다.

이러한 데이터 세트는 형식, 도메인, 수치 범위가 매우 다양하므로 연구자들은 이후의 교육과 데이터 세트 간 검증을 용이하게 하기 위해 이미지를 처리했습니다. 구체적으로, 다양한 저장 형식(예: 'TIF', 'npz', 'png', 'nii.gz')을 가진 기존 데이터 세트의 입력 및 GT 이미지를 '.npz' 파일에 기록합니다. 또한, 다양한 데이터 세트의 수치 분포를 통일하기 위해 CARE4의 데이터 처리 방법에 따라 이미지를 정규화했습니다.

모델 아키텍처: 다중 헤드 및 다중 테일 구조

연구자들이 구축한 UniFMIR 모델은 다중 헤드, 다중 테일 구조를 사용합니다.다음 그림과 같이:

구체적으로,UniFMIR은 멀티 헤드 모듈, 기능 향상 모듈, 멀티 테일 모듈로 구성됩니다.

멀티 헤드 모듈과 멀티 테일 모듈은 다양한 브랜치를 사용하여 특정 작업을 위한 얕은 특징을 추출하고 다양한 이미지 복원 문제에 대해 정확한 결과를 얻습니다.

특징 강화 모듈은 고급 Swin Transformer 구조를 채택하여 특징 표현을 강화하고 보편적이고 효과적인 특징을 재구성하여 형광 현미경을 기반으로 고품질 이미지 복원을 달성합니다. 다양한 형광현미경 기반 이미지 복원 작업은 서로 다른 헤드 및 테일 브랜치를 다루지만 동일한 기능 향상 모듈을 공유합니다.

UniFMIR 모델은 PyTorch로 구현되었으며 적응형 모멘트 추정(Adam)을 사용하여 최적화되었습니다.그중 β1 = 0.9, β2 = 0.999로 총 500개의 에포크를 학습시켰습니다. 초기 학습률은 5 × 10입니다.^-5  처음에는 200 에포크 이후에 비율이 절반으로 줄어듭니다. 모든 실험은 24GB 메모리가 장착된 Nvidia GeForce RTX 3090 GPU가 장착된 컴퓨터에서 수행되었습니다.

사전 훈련 단계에서 연구자들은 모든 훈련 데이터를 모델에 입력하고 해당 데이터를 사용하여 다양한 헤드 브랜치와 테일 브랜치를 최적화하여 다양한 작업을 수행합니다. 중간 기능 향상 분기는 모든 교육 데이터를 사용하여 최적화됩니다.

미세 조정 단계에서 연구진은 이미지 초고해상도, 등방성 재구성, 3D 노이즈 제거, 표면 투영 및 볼륨 재구성 작업에 대해 배치 크기/패치 크기를 각각 4/128, 32/64, 32/64, 4/64 및 1/16으로 설정하여 더 나은 학습 효과를 얻었습니다.

이 모델은 대규모 데이터 세트를 수집하고 다양한 이미지 향상 작업에서 얻은 데이터를 사용하여 모델 매개변수를 미세 조정하여 사전 학습되었습니다.UniFMIR은 독점 모델보다 향상된 성능과 일반화가 더 뛰어납니다.

연구 결과: 5대 주요 업무 성과 대폭 향상

연구 결과에 따르면 형광현미경 영상 강화 AI 기본 모델인 UniFMIR은 "영상 초고해상도, 등방성 재구성, 3D 노이즈 제거, 표면 투영 및 볼륨 재구성"의 5가지 주요 작업에서 성능이 크게 향상되었습니다.

• 초고해상도(SR)

우리는 먼저 SR 문제를 해결하기 위한 UniFMIR 접근법의 잠재력을 검증했습니다. 여기에는 다중 모드 구조화 조명 현미경 시스템을 사용하여 얻은 세포 코팅 구덩이(CCP), 소포체(ER), 미세소관(MT) 및 섬유성 액틴(F-액틴)을 포함한 구조적 복잡성이 증가하는 이미지가 포함되었습니다.

UniFMIR은 회절 한계 척도에서 높은 형광 레벨을 갖는 광시야(WF) 이미지로부터 SR SIM 이미지를 성공적으로 추론했으며 명확한 구조적 세부 사항을 밝혀냈습니다.

두 가지 딥 러닝 기반 형광 현미경 SR 모델(XTC15 및 DFCAN5)과 단일 이미지 초고해상도 모델(ENLCN36)과 비교했을 때, UniFMIR은 미세소관이 밀집되어 분포되어 있고 서로 가까이 있는 경우에도 대부분의 미세소관 이미지를 누락되거나 병합되지 않고 정확하게 재구성할 수 있습니다. 다양한 세포 내 구조에 대해 UniFMIR은 높은 정확도로 속이 빈 고리 모양의 CCP와 얽힌 F-액틴 섬유를 회수했습니다.

연구자들은 또한 위 그림에서 볼 수 있듯이, 피크 신호 대 잡음비(PSNR), 구조적 유사성 지수 지표(SSIM), 정규화된 평균 제곱근 오차(NRMSE), 장식 분석을 통한 해상도 추정, 푸리에 링 상관관계(FRC), SQUIRREL 분석 및 분할 지표를 사용하여 달성된 SR 정확도를 정량화했습니다.

SR SIM 이미지의 형광 강도와 구조를 평가할 때, 더 높은 PSNR/SSIM 값과 더 낮은 NRMSE 값은 더 나은 SR을 나타내며 UniFMIR은 이러한 측정 항목에서 확연히 뛰어납니다.

• 등방성 재구성

등방성이란 물체의 물리적, 화학적 및 기타 특성이 방향에 따라 변하지 않는다는 것을 의미합니다. 예를 들어, 모든 기체, 액체(액정 제외) 및 비정질 물체는 등방성을 보입니다. 이와 대조적으로 이방성이란 물질의 화학적, 물리적 및 기타 특성의 일부 또는 전부가 방향의 변화에 따라 변하여 방향에 따라 다른 특성을 보이는 것을 의미합니다.

연구진은 UniFMIR을 마우스 간 체적 영상의 이방성 원시 데이터에 적용하여 등방성 축 단면을 예측하고 이를 두 가지 딥 러닝 기반 등방성 재구성 모델(CARE 및 3D U-Net 모델)과 비교했습니다.

결과는 UniFMIR이 픽셀 분포를 통해 더 정확한 등방성 재구성 결과를 생성한다는 것을 보여줍니다.

• 3D 노이즈 제거

연구진은 플라나리아와 트리볼리움 데이터세트에서 생체 세포 이미지의 노이즈를 제거하는 작업에서 UniFMIR의 성능을 더욱 벤치마킹했습니다.

CARE와 GVTNets라는 두 가지 U-Net 기반 잡음 제거 모델과 비교했을 때, UniFMIR 모델은 다양한 레이저 출력/노출 시간에서 낮은 신호 대 잡음비의 형광 현미경 이미지의 잡음을 크게 억제했으며, 표지된 핵을 통해 편형동물(S. mediterranea)과 붉은 똥 딱정벌레의 부피를 명확하게 묘사했는데, 이는 배아 발달 관찰에 도움이 됩니다.

• 표면 투영

초파리(Drosophila melanogaster)에서 발달하는 상피 세포의 행동을 더 잘 분석하고 연구하기 위해 표면 투영을 통해 3D 볼륨을 2D 표면 이미지로 투영하는 것이 도움이 됩니다. 현재의 딥 러닝 모델(ARE 및 GVTNet)은 이 이미지 복원 문제를 3D에서 2D로의 표면 투영과 2D 이미지 노이즈 제거라는 두 가지 하위 문제로 나누고, U-Net과 동일한 인코더-디코더 프레임워크를 따라 두 개의 작업별 네트워크를 사용하여 이를 해결합니다.

본 연구에서 제안하는 방법은 더욱 복잡한 복합 형광 현미경 이미지 복원 작업에서 UniFMIR을 추가로 조사합니다.ARE 및 GVTNets와 비교했을 때 UniFMIR은 PSNR/SSIM/NRMSE 측정 기준 측면에서 더 높은 투영 재구성 정확도를 달성합니다.

• 볼륨 재구성

이 실험을 통해 연구진은 VCD-Net이 제공한 데이터에 대해 UniFMIR이 볼륨 재구성을 수행하는 능력을 검증했습니다. 각 뷰의 재구성된 3D 볼륨은 아래 그림에서 볼 수 있듯이 영상화된 객체의 동작 궤적을 식별할 수 있으며, 이는 다양한 세포 하부 구조와 관련된 많은 복잡한 생체 세포 역학의 기본 메커니즘을 밝히는 데 도움이 됩니다.

요약하자면, UniFMIR이 장착된 형광현미경은 생명과학 연구실에서 "마법의 무기"가 될 수 있습니다. 과학자들은 살아있는 세포 내부의 작은 구조와 복잡한 과정을 더욱 명확하게 관찰할 수 있으며, 이를 통해 전 세계적으로 생명 과학, 의학 연구, 질병 진단 관련 분야에서 과학적 발견과 의학적 혁신이 가속화됩니다.

동시에 반도체 제조, 신소재 연구개발 등의 분야에서도 이러한 성과를 활용하여 재료 미세구조의 관찰 및 분석 품질을 향상시키고, 이를 통해 제조 공정을 최적화하고 제품 품질을 향상시킬 수 있습니다. 앞으로 생명과학 연구실의 과학자들은 훈련 데이터의 양과 풍부함을 더욱 확장하여 UniFMIR의 이미지 재구성 역량을 지속적으로 향상시킬 수 있을 것입니다.

AI는 생명 과학 분야의 이미지 처리에 새로운 패러다임을 주도합니다.

오늘날 현미경 기술의 발전으로 엄청난 양의 영상 데이터가 생성되고 있으며, 이미지를 효율적으로 처리하는 방법은 생물의학 분야 연구의 중요한 부분이 되었습니다. 인공지능이 생명과학 연구에서 파괴적인 혁신을 지속적으로 이루어감에 따라, AI 기반 이미지 처리의 새로운 패러다임이 등장했습니다.

2020년 텍사스 휴스턴에 있는 라이스 대학교의 생체공학 교수는 MD Anderson 암 센터와 협력하여DeepDOF라는 계산 현미경을 개발했습니다.이 현미경은 AI 기술을 기반으로 하며, 분해능을 유지하면서 기존 현미경보다 5배 이상 DOF를 확보할 수 있어 이미지 처리에 필요한 시간을 대폭 단축할 수 있습니다.

2021년, Weill Cornell Medical College의 연구팀은 계산 기술을 개발했습니다.원자간력현미경(AFM)과 기존 AFM 데이터의 피크 위치에 국소화 이미지 재구성 알고리즘을 적용함으로써 팁 반경에 의해 설정된 한계를 넘어 분해능이 향상되었습니다.또한, 자연적이고 역동적인 조건에서 단백질 표면의 단일 아미노산 잔류물을 분리하여 AFM의 분해능을 크게 향상시킬 수 있습니다. 이 방법은 정상적인 생리적 조건에서 단백질과 다른 생물학적 구조에 대한 원자 수준의 세부 정보를 밝혀내어 세포 생물학, 바이러스학 및 기타 미시적 과정에 대한 새로운 창을 열었습니다.

2024년 4월, MIT, MIT와 하버드 대학교의 브로드 연구소, 매사추세츠 종합병원의 논문에서는 의료 이미지의 불확실성을 포착할 수 있는 새로운 AI 도구를 소개했습니다.티케(Tyche, 그리스 신화의 우연의 신)라는 이름의 이 시스템은 여러 가지 가능한 분할을 제공하며, 각 분할은 의료 이미지의 약간 다른 영역을 강조합니다.사용자는 Tyche가 출력해야 하는 옵션의 수를 지정하고 자신의 목적에 가장 적합한 옵션을 선택할 수 있습니다.

요약하자면, AI는 생물학적 이미지의 향상, 분할, 등록 및 재구성에 사용되어 이미지 품질을 개선하고 유용한 정보를 추출할 수 있으며, 이는 현미경에 "독수리의 눈"을 부여합니다. 미래에는 AI의 도움으로 현미경이 더욱 명확하게 보고, 더욱 빠르고, 더욱 자동적이고 정확하게 데이터를 처리하게 되어 과학 연구가 더욱 효율적이고 쉬워질 것입니다.

참고문헌:
1.https://www.nature.com/articles/s41592-024-02244-3
2.https://news.fudan.edu.cn/2024/0413/c5a140009/page.htm
3.https://new.qq.com/rain/a/20240417A06LF900
4.http://www.phirda.com/artilce_28453.html?cId=1
5.https://www.ebiotrade.com/newsf/2024-4/20240412015712482.htm