システム生物学者のパトリック・ミュラー氏は、300 万枚の画像と 15,000 個のゼブラフィッシュ胚のデータセットを使用して、AI ベースの胚識別の実装に成功しました。

著者｜ゼロを加える

編集者｜山陽

動物の発生中、胚は時間の経過とともに複雑な形態変化を遂げます。研究者は、発生の時間と速度を客観的に定量化し、初期胚の段階を分析し、進化と発生のプロセスをより深く理解するための標準化された方法を提供したいと考えています。

これまで、学者は胚の発生段階と胚の発生の形態学的変化について顕微鏡観察から理解していました。しかし、胚の発生段階の変化は理想的かつ安定したものではなく、影響を与える要因が非常に多いため、研究者が特定の発生状態を観察することは困難です。胚の形態の発生時期と発生段階を観察するプロセスは、現時点では依然として主観的です。

開発時間と開発速度の関係を客観的に確立するために、システム生物学者のパトリック ミュラー コンスタンツ大学の主力研究者である彼は、画像比較を通じて、人間の介入なしに胚の発達プロセスを自動的に捕捉し、胚の発達の特徴的な段階の点を特定できる一連の深層学習手法を開発しました。。現在、関連する結果は「」に掲載されています。ネイチャーメソッド”。

論文は「Nature Methods」に掲載されました。

紙を入手してください:

https://www.nature.com/articles/s41592-023-02083-8

01 実験プロセス

データセット: 多数の胚画像の統合

ハイスループットイメージングパイプラインとResNet101ベースの画像セグメンテーションを活用し、研究者は、300 万枚の画像と 15,000 個のゼブラフィッシュ胚を含むデータセットを構築しました、個々の胚の発生軌跡を生成します。各胚は個別に追跡され、モデルへの入力時に異なる色の境界ボックスで区切られます。各カテゴリに属する胚に関する情報を含む個別の JSON ファイルが実験ごとに作成されます。

画像処理図

モデルアーキテクチャ: ツインネットワークモデル

ツイン ネットワーク構造は、同じ構造の 2 つの並列ニューラル ネットワークで構成されます。、同時に 2 つの画像を入力として受け取ることができ、重みは 2 つのニューラル ネットワーク間で共有され、特徴埋め込みに基づく類似度計算を通じて画像が比較されます。

以下はツインネットワークの構造図です。

ツインネットワーク構造

ツインネットワークを構成するニューラルネットワークの構造は次のとおりです。

ResNet50に基づくニューラルネットワーク

バックボーンネットワーク：に基づく イメージネット  データセット、バックボーンネットワークとして事前にトレーニングされた重みを備えた ResNet50 アーキテクチャ。

モデルの頭部を埋め込む: バックボーン ネットワークの出力は平坦化され、埋め込みモデル ヘッドに渡されます。埋め込みモデル ヘッドは、各層の間にバッチ正規化層を備えた 3 つの高密度層で構成され、サイズ (1, 256) の出力/埋め込みを生成します。

転移学習: ResNet50 バックボーン ネットワークのすべての層は、畳み込みブロック 5 とモデル ヘッド層を除いてフリーズされます。 ResNet50 によって生成された特徴エンベディングは距離レイヤーで結合され、トレーニング中にさまざまな入力に対してネットワークによって生成されたエンベディング間のユークリッド メトリックが計算されます。

アルゴリズムトレーニング: トリプレットロストレーニング

アルゴリズムのトレーニング プロセスは次のとおりです。

イメージ トリプレットのビルド: 画像トリプレットは 3 つの胚画像で構成されます。アンカー画像、ランダムな発生段階 t1 の胚の画像。ポジティブなイメージ、発達段階 t1 に類似した画像 (ニューラル ネットワーク 1 への入力)、または画像強調処理によって処理されたアンカー画像 (ニューラル ネットワーク 2 への入力)。ネガティブなイメージ、発生段階 t2 ≠ t1 の胚画像。

イメージトリプレットイラスト

三つ子喪失トレーニング: 構築された画像トリプレットをツインネットワークに渡し、アンカー画像とポジ画像の類似度を最小化し、アンカー画像とネガ画像の類似度を最大化するために、以下の式に基づいてトリプレットロス(Triplet loss)を計算します。セックス。

三重項損失の計算式

A はアンカー イメージ、P はポジティブ イメージ、N はネガティブ イメージを表します。

反復トレーニング: ニューラル ネットワーク 1 は 10 エポックのトレーニングに 300,000 個のゼブラフィッシュ胚画像トリプレットを使用し、ニューラル ネットワーク 2 は 2 エポックのトレーニングに 100 万個の画像トリプレットを使用し、GPU 加速トレーニング用に NVIDIA GeForce RTX3070 (ASUS) を使用してアンカー画像を強化しました。

タスクトレーニング: 画像の類似性、胚の段階、発生速度と温度、薬物誘導による胚の発生の変化について、対応するトレーニングが実施されました。

02 実験結果

結果 1: 類似性グラフを使用した胚の自動ステージング

テスト画像は一連の胚画像と比較され、それらの間のコサイン類似度が計算され、胚画像を分類するための類似性スコアが取得されます。

テスト胚と参照画像の類似性マップ

テスト画像を発生中の胚画像の時系列と比較すると、時間の経過に伴う類似性曲線が得られ、そこから 2 つの主な特徴が抽出されます。

·  曲線のピークは、テスト画像の胚がどの発達段階にあるかを示します。

· 曲線の非ピーク領域には、ピーク幅や離れた胚段階との類似性などの追加情報が含まれており、さまざまな時点での形態学的類似性を反映しています。

胎児年齢予測の模式図

ツイン ネットワークは、胚の一連の時系列画像を識別および予測し、予測された発育段階に基づいて軌道を構築し、正確な胚の病期分類を達成できます。。

結果 2: 現像速度と温度の関数的関係を調査する

以前は、胚の発生の温度依存性を定量化するには、発生時間の手動または半自動の注釈が必要であり、妥当な期間内で分析できる実験の数が大幅に制限されていました。

構築したツインネットワークを用いて、ゼブラフィッシュの胚を23.5℃から35.5℃、ニシンの胚を18℃から36℃の温度条件で100匹から200匹ずつ解析する。胚またはニシンの胚 20 ～ 100 個。

実験結果を図に示します。

ゼブラフィッシュとニシンの異なる温度における胚発生の解析

a、d: ゼブラフィッシュとニシンの年齢推定の模式図。

b、e: 異なる温度でのゼブラフィッシュとニシンの発生。

c、f: 異なる温度におけるゼブラフィッシュとニシンの推定成長率の自然対数。

· 温度変化は両方の胚の発育速度に大きな影響を与えました。温度が低いと胚の発育速度が遅くなりますが、温度が高いと発育速度が大幅に速くなります。 10℃の温度変化に直面すると、発達速度は約2倍になりました。

·  温度依存の発達速度はツインネットワークを使用して定量的に分析され、アレニウス方程式を使用してデータを適合させました。種特有の温度範囲にわたって、線形近似の傾きはゼブラフィッシュとミダカに次のような結果をもたらします。見かけの活性化エネルギーそれらはそれぞれ 65 kJ/mol と 77 kJ/mol です。これらの見かけの活性化エネルギーは他のエネルギーと関連しています。変温動物（カエル、ショウジョウバエ、酵母など）しかし、温血動物（マウスや人間など）とは明らかに異なります。

·  理想的な推測に反して、より高温の領域では、両方の胚の発育速度は加速されなくなり、安定する傾向がありました。低温地域では、ゼブラフィッシュの発育は直線的に遅くなり、温度が23℃以下になると胚の発育が停止します。ニシンの胚は非線形発育の特徴を示し、発育の原始嚢段階で長期間停滞します。 。

結果 3: 胚進化における自然変動の定量化

この研究では、胚は遺伝的変異、外部干渉、遺伝子発現のノイズやランダム性の影響を受け、成長速度や発育段階の偏差を引き起こすものの、進化のプロセスは必ず完了することが判明した。

胚における進化の違いの図

双子ネットワークを使用して、同じ年齢の胚間の個々の表現型の違いを評価しました。実験結果を図に示します。

胎児の発育チャート

左の画像は、さまざまな時間、0 分 (緑)、400 分 (青)、800 分 (紫) 後の胚発生段階の予測パーセンテージを示しています。

右側のグラフは、時間の経過とともに減少する胚の平均類似性値を示しています。

胚発生の初期段階では、予測される胚発生段階の分布は狭くなりますが、分節期が始まると、予測される胚発生段階の分布の幅は増加します。これは次のことを示しています胚の発育中、個人間の差異は徐々に増加しますが、平均類似値は時間の経過とともに減少します。

300 万件を超えるゼブラフィッシュ胚の画像データのうち、約 11 個の TP3T 胚に異常な発育が見られます。その一般的な原因は、自然崩壊または背腹極性の欠陥です。ツインネットワークを使用することで、研究者は発育異常のある胚を早期に検出できるようになりました。これらの異常な胚は、正常な発育の予測範囲外のより低い平均類似性値を示します。

異常に発育した胚の図

結果 4: 薬物処理された胚の表現型の同定

胚の発生は複数のシグナル伝達分子によって調整されており、その活性を制御することで胚の表現型が変化する可能性があります。ゼブラフィッシュの発生中には、骨形成タンパク質 (BMP)、レチノイン酸 (RA)、Wnt、線維芽細胞成長因子 (FGF)、および Nodal シグナル伝達経路の 7 つの主要なシグナル伝達経路が主に調節されています。前後背腹軸、ソニック ヘッジホッグ (Shh) および平面細胞極性 (PCP) シグナル伝達経路は、体軸の伸長と形態形成を制御します。

研究者らは、異常胚の検出における双子ネットワークの有効性をテストしました。結果は以下の図に示されています。

未処理胚と薬剤処理胚の表現型の比較

a: 未処理の胚は、薬物処理された胚の表現型の参照として機能します。

b – i: 異なる薬剤で処理された胚と未処理の胚の間の類似性の変化。

j: 異常検出精度に対する胚数の依存性。

未処理の胚の表現型を、BMP、Nodal、FGF、Shh、PCP、および Wnt 阻害剤で処理し、RA に曝露した胚と比較すると、未処理の胚と低分子薬剤で処理した胚との間に高い類似性値が見つかりました。未処理の胚は一般に低かった。

時点の統計分析は、胚の集団が参照集団から大きく逸脱する時点を決定するために実行され、それによって表現型欠陥のある胚の集団を検出します。検出の精度は、分析される胚の数と種類によって異なります。干渉の。

また、この研究では、さまざまな浸透および重症度の表現型を識別する際のこの方法の精度も調査されました。ゼブラフィッシュ胚にさまざまな既知の表現型をもたらすさまざまなレベルの BMP 経路阻害を使用した結果が図に示されています。ツインネットワークは、浸透性の高い表現型または高用量の小分子 BMP を使用した表現型の発生逸脱を正確に検出できます。シグナル 経路阻害剤によって引き起こされる明らかな表現型は、正確な検出に数個の胚のみを必要としますが、軽度の表現型には約 30 個の胚が必要です。

異なるレベルのBMP経路阻害下におけるゼブラフィッシュ胚の表現型の変化

これらの分析は次のことを示しています正常に発育中の胚の画像のみを使用してトレーニングされたツイン ネットワークにより、公平な方法で胚の表現型の変化を検出できるようになります。

結果 5: 胚の発育期間を自動的に導出する

通常、参照胚画像は試験胚の発育タイミングを評価するために使用できますが、新しく発見された種や特徴づけられていない種の場合、そのような参照画像が利用できない場合があります。

研究者らは、ツインネットワークを使用して、初期の時点での同じ胚のテスト画像と他の画像との類似性を計算し、発育段階を判定できることを提案した。

ゼブラフィッシュ胚の類似性分析の結果を図に示します。

胚発生段階の導出

a: テスト胚と、同じ胚の以前の取得時点からの画像との間の類似性を計算します。

b: 代表的な類似度行列。

さまざまな発達段階で、類似点は独特の分布特性を示します。彼らは、共通のパターンを観察しました。つまり、高い類似度値が局所的に集中しているのに対し、より離れた時点では類似度値は低くなり、頭打ちになります。

興味深いことに、Siamese ネットワークによって評価された画像ペア間のローカルおよびグローバルな統計的類似性は、開発の主要な段階の順序と一致しています。プラトーに陥った胚は、古典的な分裂、胚盤胞、胚盤胞、器官形成、分節段階などの主要な発達段階を強調する安定した形態を持っています。対照的に、プラトー段階の境界にある胚は、発生形態の大きな変化が起こる短期間を表します。

次に研究者らは、このアプローチをニシン（メダカ）やイトヨなど他の種にも拡張しようと試みる。結果は、双子ネットワークがこれらの形態学的に多様な胚配列の有益なマップを生成することを示しています。

ニシンおよび三ツ棘魚の胚の発育段階と移行を自動検出

さらなる研究では、研究者らは、この方法をより遠い関係にある線虫 Caenorhabditis elegans に適用し、出版された論文や YouTube ビデオなどのさまざまな独立したソースからのオープン データを使用して、ネットワークを訓練および評価し、C の最初の分裂サイクルを自動的に実行することに成功しました。 . elegans が特定され、最初の 4 つの原始胚細胞が形成されます。

これらの結果は次のことを示していますツイン ネットワーク手法を使用すると、この目的のために事前にトレーニングされたモデルを必要とせずに、さまざまな生物学的システムおよび広範囲の画像データ セットに対するさまざまな種の発生マップを自動的に生成できます。。

03 ツインネットワークとデジタルツインネットワーク

5G時代には、デジタルツインネットワークが頻繁に話題になります。同時に、画像認識の分野では、似た名前の「ツインテクノロジー」、ツインネットワークも登場しています。両者はコンセプトが異なりますが、いくつかの分野では相乗効果を示します。

まず最初に、これら 2 つはまったく異なる概念であることに注意してください。

ツインネットワーク: 主に画像検索、画像マッチング、画像分類などの分野で使用される深層学習アーキテクチャで、画像の埋め込み表現を学習することで画像の類似性の比較と分析を実現します。

デジタルツインネットワーク: リアルタイムのデータ更新とシミュレーション技術を通じて、対応する物理エンティティと相互作用し、さまざまな条件下での物理エンティティの動作とパフォーマンスをシミュレートできる物理エンティティの仮想モデル。主に工業製造、モノのインターネットで使用されます。 、都市計画、航空宇宙などの分野。

AI アルゴリズムとして、Twin Network は、その利点を活用してデジタル ツイン ネットワークを強化し、効率を向上させることができます。

たとえば、産業機器のデジタル ツインでは、ツイン ネットワークはさまざまな時点の機器の画像を比較して、機器の状態の変化や差異を理解できます。また、ツイン ネットワークは監視プローブによってキャプチャされた画像データを処理して分析できます。交通の流れや道路状況のリアルタイム監視とシミュレーションなど。

まとめると、Twin Network は、画像データと深層学習テクノロジーを組み合わせて、デジタル ツインの情報取得、監視、意思決定機能を向上させることで、デジタル ツイン ネットワーク向けの画像関連のサポートとアプリケーションを提供します。

Twin Network だけでなく、他の AI ツールもデジタル ツインをさらに強化します。