復丹大学チームは、30 GB と約 200,000 ペアのトレーニング サンプルを収集し、AI を使用して顕微鏡イメージングの限界を突破する UniFMIR をリリースしました。

蛍光顕微鏡は、紫外光を光源として観察対象物に光を当て、蛍光を発させ、観察対象物の形状や位置を観察する、生命科学の分野に欠かせない重要な研究ツールです。細胞内の物質の吸収、輸送、分布、位置などを調べることができます。

ただし、励起光への高強度の曝露は、光化学プロセスを通じて直接的または間接的に細胞に影響を与える可能性があります。長期間の生細胞実験では、最小限の露光で蛍光観察を行うのが最善です。しかし同時に、露出が低いと蛍光シグナルが弱くなり、画像の信号対雑音比 (SNR) が低下し、定量的な画像分析がより困難になります。

したがって、蛍光顕微鏡ベースの画像回復 (FMIR) は、低い S/N 比の画像から高い S/N 比の画像を取得し、重要なナノスケールのイメージングを明らかにすることを目的としており、ライフ サイエンスの分野で広く注目されています。情報。

現在、人工知能技術の急速な発展の恩恵を受けて、深層学習に基づく多くのFMIRは蛍光顕微鏡の物理的限界を突破し、大幅な進歩を遂げています。しかし、主流モデルには汎化能力の低さやデータ依存性の強さなどの課題が依然として残されています。

これに関して、復旦大学コンピュータ科学技術学部の研究チームは、「一般化可能な蛍光顕微鏡ベースの画像復元のための基礎モデルの事前学習」と題する論文をNature Methodsに発表した。提案されたクロスタスクの多次元画像強調基本 AI モデル UniFMIR は、既存の蛍光顕微鏡イメージングの限界を突破するだけでなく、蛍光顕微鏡画像強調のための普遍的なソリューションも提供します。

研究のハイライト:

• UniFMIR モデルは、「画像超解像度、等方性再構成、3D ノイズ除去、表面投影、ボリューム再構成」という 5 つの主要なタスクの方向でパフォーマンスを大幅に向上させました。

• 既存の蛍光顕微鏡イメージングの限界を突破

• シンプルなパラメータ微調整により、さまざまなタスク、イメージングモダリティ、生物学的構造に適用可能

用紙のアドレス:
https://www.nature.com/articles/s41592-024-02244-3 

公式アカウントをフォローし、バックグラウンドで「顕微鏡イメージング」に返信すると、全文の PDF が入手できます

データセット: 30 GB、196,418 ペアのトレーニング サンプル

研究者らは、196,418 ペアのトレーニング サンプルを含む、14 の公開データセットから大規模なトレーニング データセット (約 30 GB) を収集しました。幅広いイメージングモダリティ、生体サンプル、画像回復タスクがカバーされています。同時に研究者らは、さまざまな蛍光顕微鏡ベースの画像回復タスクとイメージング方法に合わせてデータセットをグループ化しました。

これらのデータセットは形式、ドメイン、数値範囲が大きく異なるため、後続のトレーニングとデータセット間の検証のために画像が処理されました。具体的には、既存のデータセットの入力イメージと GT イメージをさまざまなストレージ形式 (「TIF」、「npz」、「png」、「nii.gz」など) で「.npz」ファイルに書き込みます。さらに、画像は CARE4 のデータ処理方法に従って正規化され、異なるデータセットの数値分布を統一しました。

モデルアーキテクチャ: マルチヘッドおよびマルチテール構造

研究者らが構築したUniFMIRモデルはマルチヘッド・マルチテール構造を採用している。以下に示すように:

具体的には、UniFMIR は、マルチヘッド モジュール、機能拡張モジュール、およびマルチテール モジュールで構成されます。

このうち、マルチヘッド モジュールとマルチテール モジュールは、異なるブランチを使用して特定のタスクの浅い特徴を抽出し、それぞれ異なる画像修復問題に対して正確な結果を取得します。

特徴強調モジュールは、高度な Swin Transformer 構造を使用して特徴表現を強化し、普遍的で効果的な特徴を再構築することで、蛍光顕微鏡に基づく高品質の画像復元を実現します。異なる蛍光顕微鏡ベースの画像復元操作は、異なる頭枝と尾枝をカバーしますが、同じ機能拡張モジュールを共有します。

UniFMIR モデルは PyTorch に基づいて実装され、適応モーメント推定 (Adam) を使用して最適化されています。そのうち、β1 = 0.9、β2 = 0.999、合計 500 エポックが学習されました。初期学習率は5×10から^-5  最初は、200 エポック後に半分になります。すべての実験は、24 GB のメモリを備えた Nvidia GeForce RTX 3090 GPU を搭載したマシンで実行されました。

事前トレーニング段階では、研究者らはすべてのトレーニング データをモデルに入力し、対応するデータを使用してさまざまなヘッド ブランチとテール ブランチを最適化し、さまざまなタスクを実行しました。中央の機能拡張ブランチは、最適化のためにすべてのトレーニング データを使用します。

微調整段階では、研究者らは、画像の超解像度、等方性再構成、それぞれ、ノイズ除去、表面投影、およびボリューム再構築タスクを実行して、より良い学習結果を生成します。

大規模なデータセット収集を通じてモデルを事前トレーニングし、さまざまな画像強調タスクからのデータを使用してモデル パラメーターを微調整します。UniFMIR は、独自のモデルよりも優れた強化されたパフォーマンスと汎用性を示します。

研究結果：5つの主要タスクのパフォーマンスを大幅に向上

研究の結果、蛍光顕微鏡画像強調AI基本モデルUniFMIRは、「画像超解像、等方性再構成、3Dノイズ除去、表面投影、ボリューム再構成」という5つの主要なタスクの方向性でパフォーマンスを大幅に向上させたことが示されています。

• 超解像（SR）

この研究では、まず、嚢カベオラ (CCP)、小胞体 (ER)、微小管 (MT)、原線維アクチン (F-アクチン) など、構造の複雑さが増大する画像を含む SR 問題に対処する UniFMIR 法の可能性を検証しました。

UniFMIR は、回折限界スケールで高い蛍光レベルを示し、明確な構造の詳細を示す広視野 (WF) 画像から SR SIM 画像を推定することに成功しました。

2 つの深層学習ベースの蛍光顕微鏡 SR モデル (XTC15 および DFCAN5) および単一画像超解像度モデル (ENLCN36) と比較して、UniFMIR は、微小管画像が失われていても、ほとんどの微小管画像を損失または結合することなく正確に再構成できます。密に分布し、互いに近接しています。多様な細胞内構造についても、UniFMIR は中空のリング状 CCP や交互配置された F-アクチン ファイバーを高い忠実度で回収しました。

研究者らはまた、ピーク信号対雑音比 (PSNR)、構造類似性指数測定 (SSIM)、正規化二乗平均平方根誤差 (NRMSE)、装飾分析からの解像度推定、フーリエ リング相関 (FRC)、SQUIRREL 分析、セグメンテーション メトリクスも使用しました。上の図に示すように、達成された SR 精度を定量化します。

SR SIM 画像の蛍光強度と構造を評価する場合、PSNR/SSIM 値が高く、NRMSE 値が低いほど SR が優れていることを示し、UniFMIR はこれらの指標で明らかに優れています。

• 等方性再構成

等方性とは、物体の物理的、化学的、その他の特性が異なる方向によって変化しないことを意味します。たとえば、すべての気体、液体 (液晶を除く)、および非晶質の物体は等方性を示します。対照的に、異方性とは、方向が変わると変化し、異なる方向で異なる特性を示す、物質の化学的、物理的、その他の特性のすべてまたは一部を指します。

研究者らは、マウス肝臓の体積イメージングからの異方性生データに UniFMIR を適用して等方性軸方向スライスを予測し、2 つの深層学習ベースの等方性再構成モデル (CARE および 3D U-Net モデル) と比較しました。

結果は、UniFMIR がピクセル分布のより正確な等方性再構成を生成することを示しています。

• 3Dノイズ除去

研究者らはさらに、プラナリアとトリボリウムのデータセットに対する生細胞画像ノイズ除去タスクにおける UniFMIR のパフォーマンスのベンチマークを実施しました。

2 つの U-Net ベースのノイズ除去モデル、CARE および GVTNets と比較して、UniFMIR モデルは、異なるレーザー出力/露光時間下での低信号対雑音比の蛍光顕微鏡画像のノイズを大幅に抑制し、扁形動物の標識細胞核を明確に描写します。 S. mediterranea）と赤いフンコロガシは、胚の発育を観察するのに役立ちます。

• 表面投影

キイロショウジョウバエの発達上皮細胞の挙動をより適切に分析および研究するために、表面投影は 3D ボリュームを 2D 表面画像に投影するのに役立ちます。現在の深層学習モデル (ARE および GVTNets) は、この画像復元問題を 2 つのサブ問題 (3D から 2D 表面投影と 2D 画像のノイズ除去) に分割し、U-Net デコーダー フレームワークと同じエンコーディングに従って 2 つのタスク固有のネットワークを使用して、それらを解決してください。

この研究で提案された方法は、より複雑な化合物蛍光顕微鏡画像回復タスクで UniFMIR をさらに調べます。ARE および GVTNets と比較して、UniFMIR は PSNR/SSIM/NRMSE メトリクスの点でより高い投影再構成精度を実現します。

• ボリューム再構築

この実験では、研究者らは、VCD-Net から提供されたデータに対して UniFMIR がボリューム再構成を実行できることも検証しました。以下の図に示すように、各ビューの再構成された 3D ボリュームにより、画像化されたオブジェクトの運動軌跡を特定できます。これは、さまざまな細胞内構造が関与する多くの複雑な生細胞のダイナミクスの基本メカニズムを明らかにするのに役立ちます。

要約すると、UniFMIR を搭載した蛍光顕微鏡は、ライフサイエンス研究室では「人工物」になる可能性があります。科学者は、生きた細胞内の小さな構造や複雑なプロセスをより明確に観察できるようになり、世界の生命科学、医学研究、疾患診断関連分野における科学的発見と医療革新が加速します。

同時に、半導体製造や新材料の研究開発などの分野において、材料の微細構造の観察・解析の品質向上に役立てることができ、製造プロセスの最適化や製品の品質向上につながります。将来的には、生命科学研究室の科学者は、データ量とトレーニング データの豊富さをさらに拡大することで、UniFMIR の画像再構成機能を強化し続けることができます。

AI がライフサイエンスにおける画像処理の新しいパラダイムを推進

現在、顕微鏡の進歩により大量の画像データが生成されており、画像処理をいかに効率的に行うかが生物医学分野の研究の重要な部分となっています。人工知能がライフサイエンス研究の分野で破壊的な進歩を遂げ続ける中、AI 主導の画像処理の新しいパラダイムの未来がここにあります。

2020年、テキサス州ヒューストンにあるライス大学の生物工学教授は、MDアンダーソンがんセンターと協力して、DeepDOFと呼ばれる計算顕微鏡を開発しました。この顕微鏡はAI技術に基づいており、解像度を維持しながらDOFが従来の顕微鏡の5倍以上に達し、画像処理に必要な時間を大幅に短縮できます。

2021 年、ワイル コーネル医科大学の研究チームは、位置画像再構成アルゴリズムを原子間力顕微鏡 (AFM) および従来の AFM データのピーク位置に適用することで、チップ半径によって設定された限界を超えて分解能が向上します。また、ネイティブおよび動的条件下でタンパク質表面の単一アミノ酸残基を分離し、AFM の分解能を大幅に向上させます。この方法は、通常の生理学的条件下でのタンパク質やその他の生物学的構造の原子レベルの詳細を明らかにし、細胞生物学、ウイルス学、その他の顕微鏡プロセスへの新しい窓を開きます。

2024 年 4 月、MIT、MIT とハーバード大学のブロード研究所、マサチューセッツ総合病院の論文で、医療画像の不確実性を捉えることができる新しい人工知能ツールが紹介されました。Tyche (ギリシャの機会の神にちなんで名付けられた) と呼ばれるこのシステムは、複数の妥当なセグメンテーションを提供し、それぞれが医療画像のわずかに異なる領域を強調表示します。ユーザーは、Tyche が出力するオプションの数を指定し、目的に最も適したものを選択できます。

要約すると、AI を生物医学画像の強調、セグメンテーション、位置合わせ、再構成に使用して画質を向上させ、有用な情報を抽出することで、顕微鏡に「激しい目」を与えることができます。将来的には、AI の助けを借りて、顕微鏡はより鮮明にデータを認識し、より高速かつ自動的かつ正確にデータを処理し、科学研究をより効率的かつ容易にするでしょう。

参考文献:
1.https://www.nature.com/articles/s41592-024-02244-3
2.https://news.fudan.edu.cn/2024/0413/c5a140009/page.htm
3.https://new.qq.com/rain/a/20240417A06LF900
4.http://www.phirda.com/artilce_28453.html?cId=1
5.https://www.ebiotrade.com/newsf/2024-4/20240412015712482.htm