Mit einem Datensatz von 3 Millionen Bildern und 15.000 Zebrafischembryonen gelang dem Systembiologen Patrick Müller die erfolgreiche Implementierung einer KI-basierten Embryoerkennung.

Autor｜Jia Ling

Herausgeber｜Sanyang

Während der Entwicklung eines Tieres durchlaufen Embryonen im Laufe der Zeit komplexe morphologische Veränderungen. Die Forscher hoffen, dass es ihnen gelingt, Entwicklungszeit und -geschwindigkeit objektiv zu quantifizieren und standardisierte Methoden bereitzustellen, um die Stadien früher Embryonen zu analysieren und die Evolutions- und Entwicklungsprozesse besser zu verstehen.

Bisher beruhte das Verständnis der Wissenschaftler hinsichtlich der Entwicklungsstadien und morphologischen Veränderungen des Embryos auf mikroskopischen Beobachtungen. Allerdings ist der Phasenübergang der Embryonalentwicklung weder ideal noch stabil. Die Einflussfaktoren sind so vielfältig, dass es für Forscher schwierig ist, einen bestimmten Entwicklungsstand zu beobachten. Die Beobachtung der embryonalen Morphologie zur Schlussfolgerung über Entwicklungszeit und -stadium ist noch immer relativ subjektiv.

Um den Zusammenhang zwischen Entwicklungszeit und Entwicklungsgeschwindigkeit objektiv zu ermitteln,Systembiologe Patrick Müller Als führender Forscher an der Universität Konstanz entwickelte er eine Deep-Learning-Methode auf Basis eines Zwillingsnetzwerks, die den embryonalen Entwicklungsprozess durch Bildvergleich automatisch erfassen und die charakteristischen Stadien der Embryonalentwicklung ohne menschliches Eingreifen identifizieren kann.. Derzeit sind relevante Ergebnisse veröffentlicht inNaturmethoden".

Der Artikel wurde in Nature Methods veröffentlicht.

Holen Sie sich das Papier:

https://www.nature.com/articles/s41592-023-02083-8

01 Experimentelle Verfahren

Datensatz: Integration einer großen Anzahl von Embryobildern

Durch die Verwendung einer Hochdurchsatz-Bildgebungspipeline und Bildsegmentierung basierend auf ResNet101,Die Forscher erstellten einen Datensatz mit 3 Millionen Bildern und 15.000 Zebrafischembryonen., um Entwicklungsverläufe einzelner Embryonen zu erzeugen. Jeder Embryo wird einzeln verfolgt und bei der Eingabe in das Modell durch einen andersfarbigen Begrenzungsrahmen abgegrenzt. Für jedes Experiment wurde eine separate JSON-Datei erstellt, die Informationen zu den Embryonen der jeweiligen Kategorie enthält.

Bildverarbeitungsdiagramm

Modellarchitektur: Siamesisches Netzwerkmodell

Die Zwillingsnetzstruktur besteht aus zwei parallelen neuronalen Netzen mit gleicher Struktur., kann zwei Bilder gleichzeitig als Eingabe empfangen und die Gewichte werden zwischen den beiden neuronalen Netzwerken geteilt. Der Vergleich der Bilder erfolgt durch Ähnlichkeitsberechnung auf Basis der Merkmalseinbettung.

Nachfolgend sehen Sie ein Diagramm der Struktur des Zwillingsnetzwerks:

Zwillingsnetzwerkstruktur

Die neuronale Netzwerkstruktur, aus der das Zwillingsnetzwerk besteht, ist wie folgt:

ResNet50-basiertes neuronales Netzwerk

Backbone-Netzwerk:bezogen auf ImageNet  Datensatz, ResNet50-Architektur mit vortrainierten Gewichten als Backbone-Netzwerk;

Einbettungsmodellkopf: Die Ausgabe des Backbone-Netzwerks wird abgeflacht und an den Kopf des Einbettungsmodells übergeben, der aus drei dichten Schichten mit Batch-Normalisierungsschichten zwischen jeder Schicht besteht, wodurch eine Ausgabe/Einbettung der Größe (1, 256) erzeugt wird;

Transferlernen: Alle Schichten des ResNet50-Backbone-Netzwerks sind eingefroren, mit Ausnahme des Faltungsblocks 5 und der Modellkopfschicht. Die von ResNet50 generierten Feature-Einbettungen werden in einer Distanzschicht kombiniert, um während des Trainings die euklidische Metrik zwischen den vom Netzwerk generierten Einbettungen für verschiedene Eingaben zu berechnen.

Algorithmus-Training: Triplet-Loss-Training

Der Trainingsprozess des Algorithmus läuft wie folgt ab:

Erstellen von Bildtripeln: Die Bildtripletts bestehen aus drei Embryobildern, nämlichAnkerbild, Bilder von Embryonen im zufälligen Entwicklungsstadium t1;Positives Image, ähnlich dem Bild im Entwicklungsstadium t1 (Eingabe neuronales Netzwerk 1) oder dem Ankerbild nach der Bildverbesserung (Eingabe neuronales Netzwerk 2);Negatives Bild, Bilder von Embryonen im Entwicklungsstadium t2 ≠ t1.

Bildtriplettdiagramm

Triplet-Verlust-Training: Übergeben Sie das erstellte Bildtripel an das siamesische Netzwerk und berechnen Sie den Tripelverlust anhand der folgenden Formel, um die Ähnlichkeit zwischen dem Ankerbild und dem positiven Bild zu minimieren und die Ähnlichkeit zwischen dem Ankerbild und dem negativen Bild zu maximieren.

Berechnungsformel für Triplettverluste

A steht für das Ankerbild, P für das positive Bild und N für das negative Bild.

Iteratives Training: Das neuronale Netzwerk 1 wurde 10 Epochen lang mit 300.000 Bildtripletts von Zebrafischembryos trainiert; Das neuronale Netzwerk 2 wurde zwei Epochen lang mit 1 Million Bildtripletts trainiert und die Ankerbilder wurden mithilfe von NVIDIA GeForce RTX3070 (ASUS) für GPU-beschleunigtes Training verbessert.

Aufgabenbasiertes Training: Es wurde eine entsprechende Schulung zu Bildähnlichkeit, embryonaler Stadien, Entwicklungsgeschwindigkeit und -temperatur sowie durch Medikamente hervorgerufenen Veränderungen der Embryonalentwicklung durchgeführt.

02 Experimentelle Ergebnisse

Ergebnis 1: Automatische Embryo-Staging-Analyse mithilfe von Ähnlichkeitsgraphen

Das Testbild wird mit einer Reihe von Embryobildern verglichen, die Kosinusähnlichkeit zwischen ihnen wird berechnet und der Ähnlichkeitswert wird ermittelt, um die Embryobilder zu klassifizieren.

Ähnlichkeitsgraph von Testembryos und Referenzbildern

Durch den Vergleich des Testbildes mit der Zeitreihe der sich entwickelnden Embryobilder erhalten wir eine Ähnlichkeitskurve über die Zeit, aus der wir zwei Hauptmerkmale extrahieren:

·  Die Spitze der Kurve gibt an, in welchem Entwicklungsstadium sich der Embryo im Testbild befindet.

· Die Nicht-Spitzenbereiche der Kurven enthalten zusätzliche Informationen, wie etwa die Spitzenbreite und die Ähnlichkeit mit entfernten Embryonalstadien, und spiegeln morphologische Ähnlichkeiten zu verschiedenen Zeitpunkten wider.

Schematische Darstellung der Embryoaltersvorhersage

Das Zwillingsnetzwerk kann eine Reihe von Zeitreihenbildern eines Embryos identifizieren und vorhersagen, eine Flugbahn basierend auf dem vorhergesagten Entwicklungsstadium erstellen und eine genaue Embryostadienbestimmung erreichen..

Ergebnis 2: Untersuchung des funktionalen Zusammenhangs zwischen Entwicklungsgeschwindigkeit und Temperatur

Bisher war zur Quantifizierung der Temperaturabhängigkeit der Embryonalentwicklung eine manuelle oder halbautomatische Erfassung des Entwicklungszeitpunkts erforderlich, was die Anzahl der Experimente, die innerhalb eines angemessenen Zeitraums analysiert werden konnten, erheblich einschränkte.

Das erstellte Zwillingsnetzwerk wurde verwendet, um die temperaturabhängigen Änderungen der Entwicklungsrate automatisch zu analysieren. Der Versuchsplan sah vor: Zebrafischembryonen zwischen 23,5 °C und 35,5 °C und Schwarze Karpfenembryonen zwischen 18 °C und 36 °C. Unter jeder Temperaturbedingung wurden 100 bis 200 Zebrafischembryonen oder 20 bis 100 Embryonen des Schwarzen Karpfens analysiert.

Die experimentellen Ergebnisse sind in der Abbildung dargestellt:

Analyse der embryonalen Entwicklung von Zebrafischen und schwarzen Karpfen bei unterschiedlichen Temperaturen

a, d: Schematische Darstellung der Altersbestimmung für Zebrafische und Schwarze Karpfen;

b, e: Entwicklung von Zebrafischen und Schwarzen Karpfen bei unterschiedlichen Temperaturen;

c, f: Natürlicher Logarithmus der geschätzten Wachstumsrate von Zebrafischen und Schwarzen Karpfen bei verschiedenen Temperaturen.

· Temperaturänderungen hatten einen erheblichen Einfluss auf die Entwicklungsgeschwindigkeit beider Embryonen.Bei niedrigeren Temperaturen verläuft die Embryonalentwicklung langsamer, während höhere Temperaturen die Entwicklung deutlich beschleunigen. Bei einer Temperaturänderung von 10 °C änderte sich die Entwicklungsrate um etwa den Faktor zwei.

·  Die Temperaturabhängigkeit der Entwicklungsraten wurde mithilfe eines Zwillingsnetzwerks quantifiziert und die Daten mit der Arrhenius-Gleichung angepasst. Die Steigung der linearen Anpassung ergibt dieScheinbare AktivierungsenergieSie betragen 65 kJ/mol bzw. 77 kJ/mol. Diese scheinbaren Aktivierungsenergien und andereWechselwarmÄhnlich wie bei warmblütigen Tieren (wie Fröschen, Fruchtfliegen oder Hefen) unterscheidet es sich deutlich von warmblütigen Tieren (wie Mäusen oder Menschen).

·  Im Gegensatz zu idealisierten Spekulationen beschleunigen sich die Entwicklungsraten beider Embryonen in Gebieten mit höheren Temperaturen nicht mehr, sondern stabilisieren sich tendenziell. In Gebieten mit niedrigeren Temperaturen: Die Entwicklung des Zebrafisches verlangsamt sich linear, und die Embryonenentwicklung stoppt, wenn die Temperatur unter 23 °C fällt; Die Embryonen des Schwarzen Karpfens weisen Merkmale einer nichtlinearen Entwicklung auf und stagnieren lange Zeit im primitiven Entwicklungsstadium des Sacks.

Ergebnis 3: Quantifizierung der natürlichen Variabilität während der embryonalen Evolution

Die Studie ergab, dass Embryonen zwar durch genetische Variationen, externe Störungen sowie Rauschen und Zufälligkeiten in der Genexpression beeinflusst werden, was zu Abweichungen in der Wachstumsrate und im Entwicklungsstadium führt, der Evolutionsprozess jedoch immer abgeschlossen wird.

Diagramm der evolutionären Unterschiede bei Embryonen

Das Zwillingsnetzwerk wurde verwendet, um die Unterschiede in den individuellen Phänotypen zwischen Embryonen gleichen Alters zu bewerten. Die experimentellen Ergebnisse sind in der Abbildung dargestellt:

Diagramm der embryonalen Entwicklung

Das linke Feld zeigt den Prozentsatz der embryonalen Entwicklungsstadien, die nach verschiedenen Zeiten vorhergesagt wurden: 0 Min. (grün), 400 Min. (blau) und 800 Min. (lila);

Die rechte Grafik zeigt, dass der durchschnittliche Ähnlichkeitswert der Embryonen mit der Zeit abnahm.

In der frühen Embryonalentwicklung weisen die vorhergesagten Embryonalstadien eine enge Verteilung auf, während mit Beginn der Segmentierungsperiode die Verteilungsbreite der vorhergesagten Embryonalstadien zunimmt. Dies zeigt, dassWährend der Embryonalentwicklung nehmen die Unterschiede zwischen Individuen allmählich zu, der durchschnittliche Ähnlichkeitswert nimmt jedoch mit der Zeit ab.

Unter den mehr als 3 Millionen Bildern von Zebrafischembryos zeigten etwa 11 TP3T-Embryonen eine abnormale Entwicklung, wobei ein spontaner Kollaps oder Defekte der dorsal-ventralen Polarität die häufigsten Ursachen waren.Mithilfe von Zwillingsnetzwerken können Forscher Embryonen mit Entwicklungsstörungen frühzeitig erkennen. Diese abnormalen Embryonen zeigten niedrige mittlere Ähnlichkeitswerte außerhalb des vorhergesagten normalen Entwicklungsbereichs.

Illustration einer abnormalen Embryonalentwicklung

Ergebnisse 4: Identifizierung der Phänotypen medikamentenbehandelter Embryonen

Die embryonale Entwicklung wird durch zahlreiche Signalmoleküle koordiniert und die Modulation ihrer Aktivität kann zu Veränderungen des embryonalen Phänotyps führen. Während der Entwicklung des Zebrafisches gibt es sieben wichtige Signalwege. Unter diesen Signalwegen regulieren Knochenmorphogenetisches Protein (BMP), Retinsäure (RA), Wnt, Fibroblasten-Wachstumsfaktor (FGF) und Nodal-Signalwege hauptsächlich die Ausrichtung der Keimschicht und die Bildung der anterior-posterioren dorsal-ventralen Achse, während Sonic Hedgehog (Shh) und Planar Cell Polarity (PCP)-Signalwege die Verlängerung und Morphogenese der Körperachse steuern.

Die Forscher testeten die Wirksamkeit des Zwillingsnetzwerks bei der Erkennung abnormaler Embryonen. Die Ergebnisse sind in der folgenden Abbildung dargestellt:

Phänotypischer Vergleich zwischen unbehandelten und medikamentenbehandelten Embryonen

a: Unbehandelte Embryonen wurden als Referenz für den Phänotyp medikamentenbehandelter Embryonen verwendet;

b-i: Veränderungen in der Ähnlichkeit zwischen mit unterschiedlichen Medikamenten behandelten Embryonen und unbehandelten Embryonen;

j: Abhängigkeit der Embryozahl von der Genauigkeit der Anomalieerkennung.

Der Vergleich der Phänotypen unbehandelter Embryonen mit denen, die mit BMP-, Nodal-, FGF-, Shh-, PCP- und Wnt-Inhibitoren behandelt wurden, und RA-exponierten Embryonen ergab hohe Ähnlichkeitswerte zwischen unbehandelten Embryonen, während die Ähnlichkeitswerte zwischen mit niedermolekularen Arzneimitteln behandelten Embryonen und unbehandelten Embryonen im Allgemeinen niedrig waren.

Durch statistische Zeitpunktanalysen werden die Zeitpunkte ermittelt, zu denen die Embryopopulation signifikant von der Referenzpopulation abweicht, und so Embryopopulationen mit phänotypischen Defekten erkannt. Die Genauigkeit der Erkennung hängt von der Anzahl der analysierten Embryonen und der Art der Störung ab.

Auch,Die Studie untersuchte auch die Genauigkeit der Methode bei der Identifizierung von Phänotypen mit unterschiedlichen Penetrationsraten und Schweregraden.Die bekannte Bandbreite an Phänotypen in Zebrafischembryonen, die durch unterschiedliche Grade der Hemmung des BMP-Signalwegs verursacht werden, ist in der Abbildung dargestellt: Das Zwillingsnetzwerk kann Entwicklungsabweichungen genau erkennen. Bei Phänotypen mit hoher Penetration oder offensichtlichen Phänotypen, die durch hohe Dosen von niedermolekularen BMP-Signalweg-Inhibitoren verursacht werden, ist für eine genaue Erkennung nur eine kleine Anzahl von Embryonen erforderlich, während für milde Phänotypen etwa 30 Embryonen erforderlich sind.

Phänotypische Veränderungen von Zebrafischembryonen unter verschiedenen Stufen der BMP-Signalweghemmung

Diese Analysen zeigen, dassDas siamesische Netzwerk, das nur mit Bildern sich normal entwickelnder Embryonen trainiert wurde, ist in der Lage, embryonale phänotypische Veränderungen unvoreingenommen zu erkennen..

Ergebnis 5: Automatische Ableitung der embryonalen Entwicklungsdauer

Normalerweise stehen Referenzbilder von Embryonen zur Verfügung, um den Entwicklungszeitpunkt von Testembryonen zu beurteilen. Bei neu entdeckten oder noch nicht charakterisierten Arten sind solche Referenzbilder jedoch möglicherweise nicht verfügbar.

Die Forscher schlagen vor, dass mithilfe eines Zwillingsnetzwerks das Entwicklungsstadium bestimmt werden kann, indem die Ähnlichkeit zwischen einem Testbild und anderen Bildern desselben Embryos zu früheren Zeitpunkten berechnet wird.

Die Ergebnisse der Ähnlichkeitsanalyse an Zebrafischembryonen sind in der Abbildung dargestellt:

Ableitung der embryonalen Entwicklungsperiode

a: Berechnen Sie die Ähnlichkeit zwischen dem Testembryo und Bildern von zuvor aufgenommenen Zeitpunkten desselben Embryos.

b: Repräsentative Ähnlichkeitsmatrix.

In unterschiedlichen Entwicklungsstadien weisen Ähnlichkeiten einzigartige Verteilungsmerkmale auf. Sie beobachteten ein gemeinsames Muster: Hohe Ähnlichkeitswerte häuften sich lokal, während sie zu weiter entfernten Zeitpunkten niedriger waren und ein Plateau erreichten.

Interessanterweise stimmten die lokalen und globalen statistischen Ähnlichkeiten zwischen den vom siamesischen Netzwerk ausgewerteten Bildpaaren mit der Abfolge der Schlüsselphasen während der Entwicklung überein. Embryonen, die in die stationäre Phase fallen, weisen eine stabile Morphologie auf, die wichtige Entwicklungsphasen hervorhebt, wie etwa die klassische Furchungs-, Blastozysten-, Embryoscheiben-, Organogenese- und Segmentierungsphase. Im Gegensatz dazu repräsentieren Embryonen, die an der Grenze zwischen stationären Stadien liegen, eine kurze Periode, in der große Veränderungen in der Entwicklungsmorphologie auftreten.

Als nächstes versuchen die Forscher, diesen Ansatz auf andere Arten auszuweiten, darunter Medakas und Dreistachlige Stichlinge. Die Ergebnisse zeigten, dass das Zwillingsnetzwerk einen informativen Atlas für diese morphologisch unterschiedlichen Embryosequenzen erstellte.

Automatische Erkennung von Entwicklungsstadien und -übergängen bei Embryonen von Schwarzen Karpfen und Dreistachligen Stichlingen

In weiteren Untersuchungen wendeten sie diese Methode auf den entfernter verwandten Fadenwurm Caenorhabditis elegans an. Die Forscher nutzten offene Daten aus verschiedenen unabhängigen Quellen, wie etwa veröffentlichte Artikel und YouTube-Videos, um das Netzwerk zu trainieren und zu bewerten, und identifizierten erfolgreich automatisch den ersten Teilungszyklus von C. elegans, der die ersten vier proembryonalen Zellen bildete.

Diese Ergebnisse zeigen, dassMit dem Twin Network-Ansatz können Entwicklungskarten verschiedener Arten für unterschiedliche biologische Systeme und eine große Bandbreite an Bilddatensätzen automatisch erstellt werden, ohne dass hierfür zuvor speziell trainierte Modelle erforderlich sind..

03 Zwillingsnetzwerk vs. digitales Zwillingsnetzwerk

Im 5G-Zeitalter wurden digitale Zwillingsnetzwerke immer wieder erwähnt. Gleichzeitig entsteht auch im Bereich der Bilderkennung die „Zwillingstechnologie“ mit dem ähnlichen Namen Twin Network. Obwohl die beiden Konzepte unterschiedlich sind, haben sie in bestimmten Bereichen Synergien gezeigt.

Beachten Sie zunächst, dass es sich hierbei um zwei völlig unterschiedliche Konzepte handelt.

Zwillingsnetzwerk: Eine Deep-Learning-Architektur, die hauptsächlich beim Bildabruf, Bildabgleich, der Bildklassifizierung und in anderen Bereichen verwendet wird. Es ermöglicht den Vergleich und die Analyse der Bildähnlichkeit durch das Erlernen der eingebetteten Darstellung von Bildern.

Digitales Zwillingsnetzwerk: Ein virtuelles Modell einer physischen Entität, das durch Echtzeit-Datenaktualisierungen und Simulationstechnologie mit der entsprechenden physischen Entität interagiert und das Verhalten und die Leistung der physischen Entität unter verschiedenen Bedingungen simulieren kann. Es wird hauptsächlich in der industriellen Fertigung, im Internet der Dinge, in der Stadtplanung, in der Luft- und Raumfahrt und in anderen Bereichen eingesetzt.

Als KI-Algorithmus kann Twin Network seine eigenen Vorteile nutzen, um die Effizienz digitaler Zwillingsnetzwerke zu stärken und zu verbessern.

Beispielsweise kann das Zwillingsnetzwerk im digitalen Zwilling einer Industrieanlage Bilder der Anlage zu verschiedenen Zeitpunkten vergleichen, um die Änderungen und Unterschiede im Anlagenstatus zu verstehen. Bei der digitalen Zwillingsstadtplanung kann das Zwillingsnetzwerk von Überwachungssonden erfasste Bilddaten verarbeiten, eine Echtzeitüberwachung und -simulation des Verkehrsflusses und der Straßenbedingungen durchführen usw.

Zusammenfassend lässt sich sagen, dass Twin Network bildbezogene Unterstützung und Anwendungen für Digital Twin Network bereitstellt, indem es Bilddaten und Deep-Learning-Technologie kombiniert und so die Informationserfassung, Überwachung und Entscheidungsfindungsfähigkeiten digitaler Zwillinge verbessert.

Nicht nur Twin Network, sondern auch andere KI-Tools werden digitale Zwillinge weiter stärken.