米国のアルゴンヌ国立研究所が、顕微鏡技術における「高速読み取り」を可能にする高速自動スキャンキットFASTをリリース
「北京の天安門広場に赤い国旗が上がるのを見てうれしかったです。」
この文をざっと読めば、「天安門広場での国旗掲揚を見た」という一言で必要な情報が要約できることがわかるかもしれません。言い換えれば、一字一句読む必要はありません。要点を押さえてあらゆる情報を読み解く。では、同じことが科学研究にも当てはまるのでしょうか?
これに触発された研究者は、人工知能 (AI) と顕微鏡技術を組み合わせて、研究者が分析できるようにサンプル内の主要な特徴を積極的に識別できるように AI をトレーニングしました。従来の顕微鏡技術におけるサンプルの全点スキャンとは異なり、AI + 顕微鏡技術手法は研究者がサンプルデータを取得する方法を完全に変え、実験プロセスを大幅にスピードアップし、顕微鏡レベルでの「高速読み取り」を実現しました。
著者 | ゼロを追加
編集者 | 三陽市
顕微鏡の原理は、サンプルをスキャンすることによって空間分解信号を生成し、分析のために信号を収集し、サンプル画像を形成することです。計装技術の継続的な進歩により、顕微鏡の走査速度と解像度は大幅に向上しました。
ただし、高解像度マイクロスキャン実験には、いくつかの重大な欠点があります。生成されるデータ量は膨大であり、プローブはサンプルに大きなダメージを与えます。例として、解像度約 10 nm で 1mm^3 のボリュームを X 線イメージングすると、従来のスキャン方法では 10^15 ボクセルのデータが生成され、かなりの線量のプローブが必要になります。
同時に、サンプル内のほとんどの領域は情報密度が低く、直接無視できます。逆に、少数の「境界、欠陥、特殊要素」領域には豊富な情報が含まれており、集中的な調査が必要です。。
情報密度の高い重要な領域を正確に特定するために、従来の方法では主に経験豊富なオペレーターに頼ってデータを分析し、プローブスキャンをガイドします。これにより、作業負荷が大幅に増加し、実験の進行が遅くなります。
では、AI を導入して、研究者がサンプル内の研究の優先順位を特定し、データの収集と分析を迅速化できるようにすることは可能でしょうか?
APS での自動暗視野走査型顕微鏡実験の芸術的なイラスト
この目的を達成するために、米国のアルゴンヌ国立研究所の研究者は、従来の顕微鏡研究サンプルの全点スキャンとは異なる高速自動スキャン キットである FAST (高速自律スキャン ツールキット) を開発しました。FAST により、AI がスキャン位置を自動的に特定し、効率的かつ正確にサンプル情報を取得できます。関連する結果は「Nature Communications」に掲載されています。
関連する結果は「Advanced Science」に掲載されました
FASTの研究者は、シミュレーションと暗視野X線顕微鏡実験中にWSe2フィルムのFASTスキャンを実施し、その結果は次のことを示しました。サンプルを正確に画像化して分析するには、25% 未満の FAST スキャンで十分です。
論文リンク:
https://www.nature.com/articles/s41467-023-40339-1
実験プロセス
トレーニングデータ:一般的なイメージ トレーニング アルゴリズムを活用する
FAST で使用されるアルゴリズムは大規模なデータセットでのトレーニングを必要とせず、AI は一般的な画像を使用して関心のある領域を識別できます。
トレーニング データは、MIT ライブラリ、USC-SIPI 画像データベース、および Scikit イメージ ソフトウェア パッケージから公開されている画像から生成されます。
使用したテスト画像の例
速い:高速自律スキャンツールスイート
FAST は高速自律スキャン ツールキットの略です。SLADS-Net方式、パス最適化技術、効率的かつモジュール式のハードウェア制御を組み合わせ、は、シンクロトロンベースの走査型顕微鏡におけるリアルタイムのサンプリングと走査経路選択のための高速自律走査ツール スイートです。
高速なワークフロー
答え:一連の準ランダムな初期測定値がエッジ デバイスに送信され、エッジ デバイスは初期サンプル推定値を順次生成し、測定対象の次の候補点を計算し、測定パスを計算します。新しい測定値は既存の測定値と結合され、新しい推定値が計算され、完了基準に達するまでこのプロセスが繰り返されます。
B:候補点の操作は、未測定の各点を確認することから始まります。 P局所近傍の半径 r) に応じて、測定された点が強調表示され、それによって 6 次元の特徴ベクトルが生成されます。放射基底関数 (RBF) カーネルは、特徴ベクトルを 50 次元ベクトルに変換するために使用され、多層ニューラル ネットワーク (NN) の入力として使用されます。次に、ニューラル ネットワーク (NN) がポイントを測定します。 P 期待される画像改善 (ERD) の予測。最も高い ERD を持つ未測定のピクセルのグループを次の測定の候補として選択します。
FAST トレーニングは、特定のサンプル データに依存しません。既存の SLADS ベースのワークフローとは異なり、複雑な (非バイナリの) サンプルを動的に測定および再構築することが可能です。さらに、低出力のエッジコンピューティングデバイス（シンクロトロンビームライン上に配置）で実行する場合でも、計算コストは取得時間に比べて無視でき、自律実験手法にとってはより一般的です。
これらの特性により、APS 硬 X 線ナノプローブ ビームライン上の既存の高精度ナノスケール走査型 X 線顕微鏡装置に FAST を適用できます。
性能検証
速い:静的サンプリング方法よりも優れています
FAST のパフォーマンスを検証するために、研究者らは他の 3 つの静的サンプリング手法との比較実験を実施しました。
実験対象:つまり、テスト データセットは 600 × 400 ピクセルの暗視野画像であり、240,000 の可能な測定位置を表し、900 × 600 μm の物理領域をカバーし、異なる厚さの複数の WSe2 スライスを含みます。
比較方法：3 つの静的サンプリング手法は、ラスター (RG、ラスター グリッド) サンプリング、均一ランダム (UR、均一ランダム) サンプリング、および低不一致 (LDR、低不一致) 準ランダム サンプリングです。
実験プロセス:同じスキャン範囲の下で、FAST、RG、UR、LDR のサンプリング再構成画像が生成されます。
比較1:
FAST 再構成画像と静的サンプリング再構成画像の比較
答え:グラウンド トゥルース イメージ、カラー スケールは正規化された強度を表します
BD:10% スキャン範囲での RG、LDR、および FAST 再構成画像
結果は次のとおりです。FAST サンプリングにより、実験対象物の境界、気泡、および異なる厚さレベル間の遷移領域を忠実に再現できます。
比較2:
異なるスキャン カバレージ レートでの FAST サンプリング方法と静的サンプリング方法のパフォーマンスの比較
答え:正規化平均二乗誤差 (NRMSE) はスキャン範囲に応じて変化し、値が低いほどパフォーマンスが向上します。
B:構造類似性測定 (SSIM) はスキャン範囲に応じて変化し、値が高いほどパフォーマンスが向上します。
結果は次のとおりです。FAST はサンプリング効率が高く、スキャン範囲が 27% に達すると安定した再構成が実現されますが、3 つの静的サンプリング方法では同じ効果が得られるまでに時間がかかります。
コントラスト 3:
同じサンプリング条件で、カバレッジ率が10%の場合のFASTと2つの静的サンプリング方法の実測位置
結果は次のようになります。FAST は、類似性が高く、エラーが少ない構造を再構築します。
将来的には、FAST メソッドでより高度な修復技術を使用することで、結果をさらに改善することができます。
上記 3 つのグループの比較結果は次のとおりです。
FAST は静的サンプリング手法よりも優れています。 FAST は、サンプリング対象として均一な領域ではなく、著しく不均一性のある領域を優先的に選択します。これにより、空白領域でのサンプリングにかかる時間が大幅に短縮され、サンプルがまばらな場合に特に効果的です。
FAST: 効率的かつ正確な暗視野画像再構成機能
FAST はさらに、放射光ビームライン実験においてその優れた性能を実証しました。
この実験プロセスは完全に AI によって推進され、研究者らは FAST スクリプトの開始以外には一切の介入を行いませんでした。実験サンプルは、空間分解能 100 nm の変形した WSe2 フレークです。
FAST スキャンの進化
A、C、E:5%、15%、20% のスキャン範囲の下で FAST 再構成された暗視野画像。
B、D、F:対応する実測点。
G:フルグリッドのポイントバイポイントスキャンによって取得された画像 (100% カバレッジ)。
AG:カラースケールは正規化された強度を示します。
ひ：15% ～ 20% カバレッジ間のサンプル ポイントのみが表示されます。
上の図は、スキャン範囲が低い場合、FAST メソッドは、いくつかの異種領域を優先的に識別します。バブルのエッジなど、スキャン範囲が徐々に増加するにつれて、再構成結果はより鮮明になり、15% ～ 20% のスキャン範囲の間で再構成画像が安定します。
20% スキャン範囲では、FAST は、フル スキャン画像のすべての主要な特徴を明確かつ正確に再現します。同時に、実験にかかる時間を約 80 分 (≒65%) 節約でき、実験効率が大幅に向上します。
AI + 顕微鏡の未来
FAST プロセスの利点は、顕微鏡データ収集の効率を向上させるだけでなく、その幅広い用途にもあります。米国アルゴンヌ国立研究所の科学者タオ・ジョウ氏は、「X線顕微鏡から電子顕微鏡、原子プローブ顕微鏡に至るまで、この技術は2次元走査を必要とするあらゆる顕微鏡研究を強化できる」と述べた。
将来的には、AI テクノロジーにより、顕微鏡技術の分野でもさらに踏み込んだ応用が可能になるでしょう。トレーニングを通じて、AI は自動画像分析と認識、画像強調と再構成、定量分析、疾患診断などのタスクを徐々に引き継いでいきます。
AI + 顕微鏡テクノロジーは、より鮮明で、より効率的で、より正確な未来に向かっており、科学研究の境界は拡大し続けるでしょう。
参考リンク:
[1]https://www.nature.com/articles/s41467-023-40339-1
[2]https://phys.org/news/2023-10-artificial-intelligence-scientists-self-driving-microscopy.html
[3]動的サンプリングのための教師あり学習アプローチ