わずか25%のサンプリングで、フレームレートを最大4倍に向上。深層学習が生きた細胞のナノ蛍光イメージングに革新をもたらす

周知の通り、細胞は生命体の構造と機能の基本単位であり、その内部では、精巧な細胞小器官、細胞骨格、タンパク質複合体など、ナノスケールの構造がそれぞれ役割を担い、複雑多様な生命活動を駆動している。しかし、今日に至るまで、これらの精巧なナノスケール構造間の動的な相互作用については、科学界でも未だ十分に解明されていない。その主な理由は、従来の光学顕微鏡がアベの回折限界の制約を受けるため、細胞内部の多数のナノスケールの精密な構造とその動的変化は、「見えない」霧の中に包まれているかのように見え、細胞サブ構造の研究の進展を大きく阻んできたからである。

蛍光ナノスコープ（Fluorescence nanoscopy）技術の登場により、この壁が取り払われた。光学回折限界を突破する遠方場蛍光顕微鏡技術の一つであるこの技術は、物理的な手法により蛍光分子の発光状態を制御することで、観測分解能を効果的にナノスケールまで向上させ、研究者が細胞内部の微細構造の精密なコンフォメーションと動的変化を直接観察することを可能にした。これにより、細胞の生理学的規則の探索、疾患の病理メカニズムの解明、生命活動の謎の解読における重要なツールとなっている。

多くの蛍光ナノスコープ技術の路線の中でも、可逆飽和光学蛍光変換（RESOLFT）ナノスコープは代表的なアプローチである。この技術は、可逆的光スイッチ性蛍光タンパク質（rsFPs）を利用し、空間構造化光場によって蛍光タンパク質をON状態とOFF状態の間で可逆的に切り替え、分子発光の希薄性を生み出す。この巧妙な「選択的点灯」スキャンにより、最終的に回折限界を超える高解像度の細胞画像が再構成される。

しかし、RESOLFTナノスコープは現在も完璧ではなく、その広範な応用を妨げる主な障害は2つある。第一に、 rsFPs自体に光スイッチ疲労効果が存在し、状態の繰り返しの切り替えにより、可逆的な切り替え能力が徐々に失われる可能性がある。これは、生細胞の長時間タイムラプスイメージングの総時間を直接制限する要因となる。第二に、 RESOLFTイメージングの時間は、蛍光分子の切り替え、励起時間、および空間スキャンのサンプリング点数によって制約される。サンプリング点数が多くなればなるほどイメージング時間は長くなり、時間分解能の不足はモーションアーチファクトを生じやすい。

これらの課題に対し、スウェーデン・ストックホルム王立工科大学、ドイツ・ドレスデン工科大学、イタリア・ミラノのヒューマン・テクノロジー・シティ財団からなる機関横断の研究チームは、深層学習とRESOLFTイメージングを組み合わせ、2つの相補的な計算イメージング戦略を開発した。すなわち、階層的デノイジングネットワーク（HDN）と、Fast-MoNaLISA疎サンプリング再構成フレームワークであり、低SNR（信号対雑音比）またはアンダーサンプリングされた画像の復元を通じて、RESOLFTイメージングの実験的限界を大幅に拡張した。HDNネットワークにより、1フレームあたりの光線量を10分の1に削減し、タイムラプスイメージングの総時間を最大5倍まで延長することが可能になった。また、Fast-MoNaLISAフレームワークにより、25%のサンプリング条件下でイメージングフレームレートを最大4倍向上させることができた。

関連する研究成果は「Time-lapse RESOLFT nanoscopy empowered by deep learning」というタイトルで、Nature Communications誌に発表された。

研究のハイライト：

• HDN/HDNsup階層的デノイジングネットワークに基づき、光線量を10分の1に低減した条件下で低SNRのRESOLFT画像を復元し、生細胞における最大5倍の長期間ナノイメージングを実現

• Fast-MoNaLISA時間アップサンプリングモデルを開発し、アンダーサンプリングされた画像に対して超解像再構成を行うことで、最大4倍のイメージング高速化とスキャンアーチファクトの軽減を実現

• 多様なタイプのデータセットを構築してモデルの包括的な検証を実施し、ミトコンドリア小胞、アクチンネットワークなどのサブ細胞動態過程の生細胞ナノ観察を実現

論文URL：

https://www.nature.com/articles/s41467-026-78580-z

学習と独立評価に対応するための多ソースデータセット設計

本研究では、目的の異なる複数のRESOLFTデータセットを採用した。これにはペア付きデータセット（Paired datasets）、ペアなしデータセット（Unpaired datasets）、独立データセット（Independent datasets）が含まれる。具体的には以下の通りである。

ペア付きデータセット

クリーン画像とノイズ画像のペア付きデータセットを取得するため、研究者らは細胞を固定処理した。これにより、画像ペア間の構造変位を回避した。固定処理はrsFPのサイクル回数を制限するため、光退色は生細胞よりも速いが、高品質なRESOLFT画像を取得することは可能である。

固定ビメンチンデータセット（Fixed vimentin dataset）U2OS Vim-rsEGFP2については、研究者らはまず約10%～20%のONスイッチング（約30 W/cm²）でノイズ画像を収集した。続いて、約80%～90%のONスイッチング（約300 W/cm²）下で5枚の画像を収集した。この擬似時間系列信号は急速に減衰するため、研究者らは信号減衰過程を利用して、異なるSNRレベルでHDNおよびHDNsup、ならびにアップサンプリング予測結果を評価した。擬似時間系列の最初の3枚の画像の平均値を取り、最適なグラウンドトゥルース参考値を得た。

固定アクチンメッシュワークデータセット（Fixed actin meshwork dataset）U2OS LifeAct-rsEGFP2については、手順は上記と同様である。ただし、1枚目の画像は約50%のONスイッチング下で収集し、続いて約90%のONスイッチング下で5枚の画像を収集した。その後、平均処理により高品質なグラウンドトゥルース参考画像を生成し、HDNsupモデルのトレーニングに使用した。

非ペアリングデータセット

非ペアリングデータセットは、主に教師なしノイズ除去およびアップサンプリングの訓練に使用されます。

ミトコンドリアおよびHIV Gag-IM粒子の教師なしHDNノイズ除去処理において、研究者らは低いON-switching時間系列を使用し、低SNR（信号対雑音比）の時間系列上で直接HDNを訓練しました。単一の時間系列には多数のフレームが含まれるため、少数の細胞でも十分なノイズ画像を提供できます。

アップサンプリング訓練データセットについては、研究者らは通常のRESOLFT時間系列（10〜40フレーム）を収集し、各細胞および構造に応じて長さを調整し、全体の時間系列で十分なSNRを確保しました。

独立テストデータセット

HIV Gag-IM粒子に関して、研究者らは追加で2つのテストセットを収集しました。それぞれ、ノイズ除去評価セット（低いON-switching、高いON-switching、強化共焦点の3条件下で収集された画像を含む）と、アップサンプリング評価セット（高いON-switchingと強化共焦点の2条件下で収集された画像のみを含む）です。注目すべきは、これらのデータセットはすべて生細胞から収集されたものであり、細胞運動の影響が存在する点です。

各データセットはランダムに訓練セット、検証セット、テストセットに分割されます。画像サイズは64 × 64、96 × 96、128 × 128を含み、情報が不足しているブロックは除去されます。具体的なデータセットは以下の図に示されています：

核心的な課題を分割し、画像ノイズ除去と疎なサンプリング復元に焦点を当てる

本研究はRESOLFT技術に焦点を当てており、基礎的な手法としてMoNaLISA実装を採用しています。MoNaLISAは、現在最先端の並列化RESOLFT画像化技術です。MoNaLISAは、ON-switchingおよびread-out用の多焦点パターンと、OFF-switching用の重ね合わせた周期的な線状パターンを統合しており、約40 × 40 µm²のFOV（視野）内で、約0.5 Hzのフレームレートで45〜60 nmの空間分解能を持つ生細胞画像化を実現します。

これを基盤として、研究者らはさらに、深層学習を用いて低SNRの画像またはサンプリングが不足した画像を復元し、従来のRESOLFT手法の限界を突破することを提案しました。そのロジックは非常に単純であり、画像ノイズ除去技術を用いて画像化に必要な光線量を低減し、光退色現象を軽減すること、および疎なサンプリングで収集されたデータを復元するための計算フレームワークを構築し、計算によるアップサンプリングを通じて時間分解能を向上させることです。

具体的には、ON-switching光強度は活性化されるrsFP（光スイッチ性蛍光タンパク質）の数を決定し、これにより収集信号の強度を制御します。従来の手法では、SNRを最大化するためにrsFPの80〜90%を活性化するのが一般的でしたが、本研究では逆のアプローチを提案し、rsFPのわずか10〜20%のみを活性化して低SNR画像を取得し、深層学習によるノイズ除去を通じて高品質な画像を再構築します。これにより、光退色を最小限に抑えるだけでなく、ON-switchingに短波長（通常405 nm）を使用することによる光毒性の問題も緩和されます。

これを踏まえ、研究者らは教師なし画像ノイズ除去アルゴリズムであるHDNを提案しました。この手法は、段階的変分オートエンコーダ（LVAE）ネットワーク構造に基づいており、実験的に測定されたノイズモデルを導入しています。 さらに、研究ではHDNの教師ありバリアントバージョンであるHDNsupも提供しており、同じフレームワークを教師あり訓練に変更したものです。研究者チームが教師なしおよび教師ありの2つのバージョンの解決策を提案した目的は、高品質な真値（GT）が存在する場合は教師あり学習を利用でき、真値が存在しない場合でも教師なしモードで安定して利用できるようにすることです。同時に、理想的な戦略は効果的なノイズ除去を実現しつつ、空間分解能を犠牲にしないものでなければなりません。

ここで、HDN内のバックボーンネットワークであるLVAEは、生物画像データの階層的構造に関する事前知識を学習するために使用され、全体的な輪郭から微細なテクスチャに至るまで多段階の特徴を同時に捉えることができます。さらに重要なのは、このモデルが多解な事前知識モデルであり、一意の確定した結果を出力しない点です。実験ノイズモデルは、HDNが教師なし訓練を実現するための核心であり、ノイズを含む観測画像において、背後にある真のクリーンな信号の条件付き確率を記述します。さらに重要なことに、このフレームワークは教師あり訓練に容易に適用可能であり、HDNが既知のクリーンな真値情報を利用できるようにしつつ、HDNの多解性表現と出力結果の多様性という2つの特性を維持します。

研究の第2のアプローチは、疎なサンプリングの画像を復元するためのフレームワークを構築することで、その目的は高速な生細胞動力学の可視化を実現することです。 具体的には、収集時間はスキャンステップ数に依存しますが、疎なサンプリングと画像復元技術を組み合わせることで、画像品質を維持しながら画像化速度を大幅に向上させることが期待されます。最適なサンプリングステップ長は、エイリアシングアーチファクトや情報の冗長性を防ぐために、通常ナイキスト・シャノンサンプリング定理に基づいて決定されます。ステップ長はシステムの遮断周波数の2倍に等しく、期待される分解能の約半分です。RESOLFT画像化では、ステップ長は約20〜30 nmです。

これを踏まえ、研究者らはFast MoNaLISAを提案しました。この手法は、一部のステップをスキップして1フレームの収集時間を短縮し、その後アップサンプリングネットワークを用いて未サンプリング画像を復元するもので、光線量を変えずに時間分解能を向上させるという顕著な利点があります。このアプローチは回折限界の共焦点顕微鏡で使用されたことがありますが、100 nm以下のナノ超分解能画像化ではまだ検証されていません。さらに、本研究の重要な技術的詳細は、サンプリングを削減する一方でOFF-switching光線量を変化させないことであり、サンプル上で元の画像分解能を維持できる点です。

Fast MoNaLISA は、単一フレーム学習と複数フレーム学習の2つの学習パラダイムを実装しています。単一フレーム学習は静的なシーンにおけるアップサンプリング復元を目的としており、ネットワークには単一時点のデータを提供します。複数フレーム学習は、単一フレーム学習手法を改良したもので、細胞内分子やオルガネラの高速な動的過程のイメージングを目標としています。この手法では、単一スナップショットではなく、サブサンプリングされた時間経過画像を入力として使用し、各時点に対して単一フレーム学習と同じランダムダウンサンプリング手順を適用してサブサンプリング画像を生成します。その後、ネットワークは時間経過シーケンス内の中間時点を予測するように学習され、入力画像から得られる追加の時間的文脈情報も学習することで、再構成の忠実度を向上させます。

ネットワークアーキテクチャについては、Fast MoNaLISA のアップサンプリング再構成の基本構造は UNet-RCAN ですが、元の RCAN の最終層にあるアップサンプリング層を削除せず保持しています。 このネットワークを選択した理由は単純で、RCAN 自体が画像アップサンプリングタスク向けに設計されており、本研究のアンダーサンプリング画像復元に自然に適しているためです。また、構造の取捨選択において、モデルは U-Net のバックボーン部分を保持し、モデルの収束を速めるために役立てています。

露光を10分の1に、時間経過を5倍に、撮影速度を4倍に

本研究ではまず、HDN の低 ON-switching 画像に対する再構成能力を評価しました。実験では、無教師手法である Noise2Void（N2V）および Self-Inspired Noise2Noise（SN2N）、ならびに教師付き手法である Content-Aware Image Restoration（CARE）および UNet-RCAN を選択し、HDN とこれらの手法との比較検証を行いました。

結果として、グランドトゥルース（GT）の平均半値全幅（full width at half-maximum, FWHM）は 58 nm であり、HDN および HDNsup のいずれにおいても平均 FWHM は空間分解能を維持し、それぞれ 56 nm および 54 nm でした。一方、無教師手法の SN2N の平均 FWHM は 120 nm、N2V は 93 nm でした。教師付き手法は相対的に優れており、CARE が 73 nm、UNet-RCAN が 70 nm でした。しかし、これらの手法は細胞構造を平滑化する傾向があるため、詳細情報の喪失を引き起こし、結果として平均 FWHM はグランドトゥルースより高くなり、フーリエリング相関（FRC）曲線も低周波数領域で低下しました。以下の図に示します：

ただし、注目すべき点は、教師付きノイズ除去手法の性能の限界はネットワークアーキテクチャ自体に起因するのではなく、グランドトゥルースの品質の不足に起因しているということです。したがって、他の教師付き学習手法と同様に、HDNsup は優れた性能を示すものの、その性能は依然としてグランドトゥルースの品質に強く依存しています。

次に、研究者らはより希薄な点状構造において HDN ノイズ除去手法の効果を検証しました。 結果として、HDN はこれらの点状構造を正確に復元し、強化共焦点イメージングでは観察できない超解像の詳細を保持することができました。これは他の無教師ノイズ除去手法では達成できないものであり、FRC によってもこの結論が裏付けられました。もちろん、信号対雑音比（SNR）が極めて低い場合は予測精度が低下するため、予測の信頼性を確保するために ON-switching 水準を慎重に選択し、検証する必要があります。HIV Gag-IM-rsEGFP2 の場合、5% の点灯状態の割合では顕著な再構成アーチファクトが発生し、10% が比較的信頼できる作業閾値となります。

生細胞の長時間時間経過イメージングを実現できるかを検証する際、イメージングに使用される紫外可視光エネルギーが従来の約 1/10 であったため、時間経過イメージングの時間は、従来の高 ON-switching の標準的な RESOLFT 手法と比較して最大約 5 倍延長されました。 以下の図に示します。注目すべきは、これらの実験はすべてビメンチン分子の内因性発現レベル下で行われており、rsEGFP2 ミトコンドリア外膜などのより明るいサンプルの場合は無教師 HDN を使用し、100 フレーム以上の時間経過イメージングが可能であったということです。

研究者らは引き続き、HDNsup を用いてアクチンネットワークなどの複雑な絡み合い構造のイメージング実験を行いました。LifeAct-rsEGFP2 を発現させた固定化細胞から高品質なデータを収集することで、まずアクチンネットワークを正確に再構成できることを検証し、その後、生細胞イメージングへ適用しました。結果として、HDNsup は少なくとも 50 フレームの連続収集に成功し、アクチンネットワークの動的過程の長時間観察を実現しました。

単一フレーム学習と複数フレーム学習の評価では、研究チームはサンプリング率を 75%、50%、25% の3種類検討し、それぞれフレームレートが 1.3 倍、2 倍、4 倍向上することに相当しました。

単一フレーム学習の結果は、Fast MoNaLISA が SNR の高い画像で最も優れた性能を示すため、通常の ON-switching 水準、すなわち 80%～100% を採用すべきであることを示唆しています。これは露光線量削減という全体的な目標とも一致しており、サブサンプリング自体が線量を低減するからです。次に、サンプリング率の選択は、イメージング速度と予測の信頼性の間のトレードオフを反映しており、単一フレーム予測ではサンプリング率 50% が、速度と忠実度の間で最も堅牢な妥協点となります。以下の図に示します：

複数フレームの訓練結果により、Fast MoNaLISA は高速イメージング条件下で画素の25%のみを収集した場合でも、画像を正確に再構築できることが示されました。これは単フレーム訓練における従来の限界を突破するものです。下図に示す通りです：

最後に

総じて、本研究は実験的イメージングと計算による再構築を組み合わせたハイブリッド手法を構築しました。並列RESOLFT技術を活用することで、生きた細胞全体の長時間動的観察を可能にし、空間分解能は約60ナノメートルに達します。これにより、細胞骨格やミトコンドリアの囊胞などの微細構造を捉え、従来は静的撮影でしか観測できなかった微弱なシグナルや高速で動く分子を追跡することが可能になります。SIM、SOFI、STEDなどの主流な生細胞超解像技術と比較して、本手法は70ナノメートル以下の分解能、イメージング速度、視野の広さ、および光障害のバランスにおいて、稀有な均衡を実現しています。

さらに価値があるのは、現在チームがLISAIソフトウェアフレームワークをオープンソースとして公開しており、関連アルゴリズムはSTEDやスピンディスク共焦点顕微鏡など、他のスキャン型顕微鏡システムへも転用可能な点です。もちろん、深層学習による再構築にはパラメータのトレードオフが存在し、試料のS/N比に応じてパラメータを調整する必要があります。将来的にはモデルのさらなる最適化や、統合的なフレームワークの構築により、イメージング時の光線量と収集時間の同時低減が期待されます。