Avec un ensemble de données de 3 millions d'images et 15 000 embryons de poisson zèbre, le biologiste des systèmes Patrick Müller a mis en œuvre avec succès la reconnaissance d'embryons basée sur l'IA.

Auteur｜Jia Ling

Rédacteur en chef｜Sanyang

Au cours du développement animal, les embryons subissent des changements morphologiques complexes au fil du temps. Les chercheurs espèrent pouvoir quantifier objectivement le temps et la vitesse de développement et fournir des méthodes standardisées pour analyser les stades des premiers embryons et mieux comprendre les processus évolutifs et développementaux.

Auparavant, la compréhension des stades de développement embryonnaire et des transformations morphologiques embryonnaires provenait d’observations microscopiques. Cependant, la transition entre les stades du développement embryonnaire n’est ni idéale ni stable. Les facteurs d’influence sont si nombreux qu’il est difficile pour les chercheurs d’observer un état de développement spécifique. Le processus d’observation de la morphologie embryonnaire pour déduire le temps et le stade de développement est encore relativement subjectif.

Afin d'établir objectivement la relation entre le temps de développement et la vitesse de développement,Patrick, biologiste des systèmes Müller Chercheur de premier plan à l'Université de Constance, il a développé une méthode d'apprentissage profond basée sur un réseau jumeau qui peut capturer automatiquement le processus de développement embryonnaire par comparaison d'images et identifier les étapes caractéristiques du développement embryonnaire sans intervention humaine.. À l’heure actuelle, des résultats pertinents ont été publiés dansMéthodes de la nature".

L'article a été publié dans Nature Methods

Obtenez le papier :

https://www.nature.com/articles/s41592-023-02083-8

01 Procédures expérimentales

Ensemble de données : Intégration d'un grand nombre d'images d'embryons

En utilisant un pipeline d'imagerie à haut débit et une segmentation d'images basée sur ResNet101,Les chercheurs ont créé un ensemble de données de 3 millions d’images et de 15 000 embryons de poisson zèbre., pour générer des trajectoires de développement d’embryons individuels. Chaque embryon est suivi individuellement et délimité par un cadre de délimitation de couleur différente lors de sa saisie dans le modèle. Un fichier JSON distinct a été créé pour chaque expérience, contenant des informations sur les embryons appartenant à chaque catégorie.

Diagramme de traitement d'image

Architecture du modèle : modèle de réseau siamois

La structure du réseau jumeau est constituée de deux réseaux neuronaux parallèles ayant la même structure., peut recevoir deux images en entrée en même temps, et les poids sont partagés entre les deux réseaux neuronaux. Les images sont comparées par calcul de similarité basé sur l'intégration de caractéristiques.

Voici un schéma de la structure du réseau jumeau :

Structure du réseau jumeau

La structure du réseau neuronal qui constitue le réseau jumeau est la suivante :

Réseau neuronal basé sur ResNet50

Réseau fédérateur:basé sur ImageNet  Ensemble de données, architecture ResNet50 avec des poids pré-entraînés comme réseau principal ;

Tête de modèle d'intégration:La sortie du réseau fédérateur est aplatie et transmise à la tête du modèle d'intégration, qui se compose de trois couches denses avec des couches de normalisation par lots entre chaque couche, produisant une sortie/intégration de taille (1, 256) ;

Apprentissage par transfert:Toutes les couches du réseau fédérateur ResNet50 sont gelées, à l'exception du bloc convolutif 5 et de la couche de tête du modèle. Les intégrations de fonctionnalités générées par ResNet50 sont combinées dans une couche de distance pour calculer la métrique euclidienne entre les intégrations générées par le réseau pour différentes entrées pendant la formation.

Entraînement d'algorithmes : Entraînement par perte de triplets

Le processus de formation de l'algorithme est le suivant :

Construction de triplets d'images:Les triplets d'images sont constitués de trois images d'embryons, à savoirImage d'ancrage, images d'embryons à un stade de développement aléatoire t1 ;Image positive, similaire à l'image au stade de développement t1 (réseau neuronal d'entrée 1) ou à l'image d'ancrage après amélioration de l'image (réseau neuronal d'entrée 2) ;Image négative, images d'embryons au stade de développement t2 ≠ t1.

Diagramme de triplet d'images

Entraînement à la perte de triplets: Transmettez le triplet d'images construit au réseau siamois et calculez la perte de triplet en fonction de la formule ci-dessous pour minimiser la similitude entre l'image d'ancrage et l'image positive et maximiser la similitude entre l'image d'ancrage et l'image négative.

Formule de calcul de la perte de triplet

A représente l'image d'ancrage, P représente l'image positive et N représente l'image négative.

Entraînement itératif:Le réseau neuronal 1 a été formé pendant 10 époques en utilisant 300 000 triplets d'images d'embryons de poisson zèbre ; Le réseau neuronal 2 a été formé pendant 2 époques à l'aide d'un million de triplets d'images, et les images d'ancrage ont été améliorées à l'aide de NVIDIA GeForce RTX3070 (ASUS) pour une formation accélérée par GPU.

Formation basée sur les tâches:Une formation correspondante a été menée sur la similarité des images, la stadification embryonnaire, la vitesse et la température de développement, ainsi que sur les changements de développement embryonnaire induits par les médicaments.

02 Résultats expérimentaux

Résultat 1 : Stadification automatique des embryons à l'aide de graphiques de similarité

L'image de test est comparée à un ensemble d'images d'embryons, la similarité cosinus entre elles est calculée et le score de similarité est obtenu pour classer les images d'embryons.

Graphique de similarité des embryons testés et des images de référence

En comparant l'image test avec la série temporelle d'images d'embryons en développement, nous obtenons une courbe de similarité dans le temps, à partir de laquelle nous extrayons deux caractéristiques principales :

·  Le pic de la courbe indique à quel stade de développement se trouve l'embryon dans l'image de test.

· Les régions non-pic des courbes contiennent des informations supplémentaires, telles que la largeur du pic et la similarité avec des stades embryonnaires éloignés, reflétant des similitudes morphologiques à différents moments.

Diagramme schématique de la prédiction de l'âge de l'embryon

Le réseau jumeau peut identifier et prédire un ensemble d’images de séries chronologiques d’un embryon, construire une trajectoire basée sur le stade de développement prédit et obtenir une stadification embryonnaire précise..

Résultat 2 : Exploration de la relation fonctionnelle entre la vitesse de développement et la température

Auparavant, la quantification de la dépendance à la température du développement embryonnaire nécessitait une annotation manuelle ou semi-automatique du calendrier de développement, ce qui limitait considérablement le nombre d’expériences pouvant être analysées dans un délai raisonnable.

Le réseau jumeau construit a été utilisé pour analyser automatiquement les changements du taux de développement en fonction de la température. Le plan expérimental était le suivant : embryons de poisson zèbre entre 23,5 ℃ et 35,5 ℃ et embryons de carpe noire entre 18 ℃ et 36 ℃. 100 à 200 embryons de poisson zèbre ou 20 à 100 embryons de carpe noire ont été analysés dans chaque condition de température.

Les résultats expérimentaux sont présentés dans la figure :

Analyse du développement embryonnaire du poisson zèbre et de la carpe noire à différentes températures

a, d : Diagramme schématique de l’estimation de l’âge du poisson zèbre et de la carpe noire ;

b, e : Développement du poisson zèbre et de la carpe noire à différentes températures ;

c, f : Logarithme naturel du taux de croissance estimé du poisson zèbre et de la carpe noire à différentes températures.

· Les changements de température ont eu un impact significatif sur les taux de développement des deux embryons.À des températures plus basses, le développement embryonnaire est plus lent, tandis que des températures plus élevées provoquent une accélération significative du développement. Face à un changement de température de 10°C, le taux de développement a été divisé par deux environ.

·  La dépendance à la température des taux de développement a été quantifiée à l'aide d'un réseau jumeau et les données ont été ajustées avec l'équation d'Arrhenius. La pente de l'ajustement linéaire donne laÉnergie d'activation apparenteElles sont respectivement de 65 kJ/mol et 77 kJ/mol. Ces énergies d’activation apparentes et d’autresPoïkilothermeSemblable aux animaux à sang chaud (comme les grenouilles, les mouches à fruits ou la levure), il est clairement différent des animaux à sang chaud (comme les souris ou les humains).

·  Contrairement aux spéculations idéalisées, dans les zones à température plus élevée, les taux de développement des deux embryons ne s'accélèrent plus mais ont tendance à se stabiliser. Dans les zones à basse température : le développement du poisson zèbre ralentit de façon linéaire et l'embryon cesse de se développer lorsque la température descend en dessous de 23°C ; les embryons de carpe noire présentent des caractéristiques de développement non linéaire, stagnant au stade du sac primitif du développement pendant une longue période.

Résultat 3 : Quantification de la variabilité naturelle au cours de l'évolution embryonnaire

L’étude a révélé que même si les embryons sont affectés par la variation génétique, les interférences externes, le bruit et le caractère aléatoire de l’expression des gènes, qui conduisent à des écarts dans le taux de croissance et le stade de développement, le processus évolutif sera toujours achevé.

Diagramme des différences évolutives chez les embryons

Le réseau de jumeaux a été utilisé pour évaluer les différences de phénotypes individuels parmi les embryons du même âge. Les résultats expérimentaux sont présentés dans la figure :

Diagramme de développement embryonnaire

Le panneau de gauche montre le pourcentage de stades de développement embryonnaire prédits après différents temps, 0 min (vert), 400 min (bleu) et 800 min (violet) ;

Le graphique de droite montre que la valeur moyenne de similarité des embryons a diminué au fil du temps.

Au début du développement embryonnaire, les stades embryonnaires prédits ont une distribution étroite, tandis qu'avec le début de la période de segmentation, la largeur de distribution des stades embryonnaires prédits augmente. Cela montre queAu cours du développement embryonnaire, les différences entre les individus augmentent progressivement, mais la valeur moyenne de similarité diminue au fil du temps.

Parmi plus de 3 millions d'images d'embryons de poisson zèbre, environ 11 embryons TP3T ont montré un développement anormal, avec un effondrement spontané ou des défauts de polarité dorso-ventrale comme causes courantes.Grâce aux réseaux de jumeaux, les chercheurs sont capables de détecter des embryons présentant des anomalies de développement à un stade précoce. Ces embryons anormaux ont montré de faibles valeurs de similarité moyenne en dehors de la plage de développement normal prévue.

Illustration du développement anormal de l'embryon

Résultats 4 : Identification des phénotypes d'embryons traités par médicament

Le développement embryonnaire est coordonné par de multiples molécules de signalisation, et la modulation de leur activité peut entraîner des changements dans le phénotype embryonnaire. Au cours du développement du poisson zèbre, il existe sept voies de signalisation principales. Parmi ces voies, la protéine morphogénétique osseuse (BMP), l'acide rétinoïque (RA), Wnt, le facteur de croissance des fibroblastes (FGF) et les voies de signalisation nodale régulent principalement l'orientation de la couche germinale et la formation de l'axe dorso-ventral antéro-postérieur, tandis que les voies de signalisation Sonic Hedgehog (Shh) et de polarité cellulaire planaire (PCP) contrôlent l'extension et la morphogenèse de l'axe corporel.

Les chercheurs ont testé l’efficacité du réseau de jumeaux dans la détection d’embryons anormaux, et les résultats sont présentés dans la figure ci-dessous :

Comparaison phénotypique entre les embryons non traités et les embryons traités avec des médicaments

a : Les embryons non traités ont été utilisés comme référence pour le phénotype des embryons traités par médicament ;

b-i : Changements de similarité entre les embryons traités avec différents médicaments et les embryons non traités ;

j : Dépendance du nombre d’embryons sur la précision de la détection des anomalies.

La comparaison des phénotypes des embryons non traités avec ceux traités avec des inhibiteurs de BMP, Nodal, FGF, Shh, PCP et Wnt et des embryons exposés à la RA a révélé des valeurs de similarité élevées entre les embryons non traités, tandis que les valeurs de similarité entre les embryons traités avec des médicaments à petites molécules et les embryons non traités étaient généralement faibles.

Une analyse statistique des points temporels est effectuée pour déterminer les points temporels auxquels la population d'embryons s'écarte significativement de la population de référence, détectant ainsi les populations d'embryons présentant des défauts phénotypiques. La précision de la détection dépend du nombre d’embryons analysés et du type d’interférence.

aussi,L’étude a également exploré la précision de la méthode dans l’identification des phénotypes de différents taux de pénétration et de gravité.La gamme connue de phénotypes chez les embryons de poisson zèbre causés par différents niveaux d'inhibition de la voie BMP est illustrée dans la figure : le réseau de jumeaux peut détecter avec précision les déviations du développement. Pour les phénotypes à forte pénétration ou les phénotypes évidents causés par des doses élevées d'inhibiteurs de la voie de signalisation BMP à petites molécules, seul un petit nombre d'embryons est nécessaire pour une détection précise, tandis que les phénotypes légers nécessitent environ 30 embryons.

Modifications phénotypiques des embryons de poisson zèbre sous différents niveaux d'inhibition de la voie BMP

Ces analyses montrent queLe réseau siamois, formé uniquement avec des images d'embryons en développement normal, est capable de détecter les changements phénotypiques embryonnaires de manière impartiale..

Résultat 5 : Dérivation automatique de la période de développement embryonnaire

En règle générale, des images d’embryons de référence sont disponibles pour évaluer le calendrier de développement des embryons testés, mais pour les espèces nouvellement découvertes ou non caractérisées, ces images de référence peuvent ne pas être disponibles.

Les chercheurs proposent qu’un réseau de jumeaux puisse être utilisé pour déterminer le stade de développement en calculant la similarité entre une image test et d’autres images du même embryon à des moments antérieurs.

Les résultats de l'analyse de similarité sur les embryons de poisson zèbre sont présentés dans la figure :

Dérivation de la période de développement embryonnaire

a : Calculer la similarité entre l’embryon test et les images de points temporels précédemment acquis du même embryon ;

b : Matrice de similarité représentative.

À différents stades de développement, les similitudes présentent des caractéristiques de distribution uniques. Ils ont observé un modèle commun : les valeurs de similarité élevées se regroupaient localement, tandis qu'à des moments plus éloignés, les valeurs de similarité étaient plus faibles et plafonnaient.

Il est intéressant de noter que les similitudes statistiques locales et globales entre les paires d’images évaluées par le réseau siamois étaient cohérentes avec la séquence des étapes clés au cours du développement. Les embryons qui entrent dans la phase stationnaire ont une morphologie stable qui met en évidence les principales périodes de développement, telles que les étapes classiques de clivage, de blastocyste, de disque embryonnaire, d'organogenèse et de segmentation. En revanche, les embryons qui se situent à la frontière entre les stades stationnaires représentent une brève période au cours de laquelle des changements majeurs dans la morphologie du développement se produisent.

Ensuite, les chercheurs tentent d’étendre cette approche à d’autres espèces, notamment le médaka et l’épinoche à trois épines. Les résultats ont montré que le réseau de jumeaux a généré un atlas informatif pour ces séquences d’embryons morphologiquement diverses.

Détection automatique des stades de développement et des transitions chez les embryons de carpe noire et d'épinoche à trois épines

Dans des recherches ultérieures, ils ont appliqué cette méthode au nématode Caenorhabditis elegans, un nématode plus éloigné. Les chercheurs ont utilisé des données ouvertes provenant de différentes sources indépendantes, telles que des articles publiés et des vidéos YouTube, pour former et évaluer le réseau, et ont identifié automatiquement avec succès le premier cycle de division de C. elegans, formant les quatre premières cellules proembryonnaires.

Ces résultats indiquent queL'approche Twin Network peut être utilisée pour générer automatiquement des cartes de développement de différentes espèces pour différents systèmes biologiques et une large gamme d'ensembles de données d'images, sans avoir besoin de modèles préalablement formés spécifiquement à cette fin..

03 Réseau jumeau vs. réseau jumeau numérique

À l’ère de la 5G, les réseaux jumeaux numériques ont été mentionnés à plusieurs reprises. Parallèlement, la « technologie jumelle » au nom similaire – réseau jumeau – fait également son apparition dans le domaine de la reconnaissance d'images. Bien que les deux concepts soient différents, ils ont démontré une synergie dans certains domaines.

Tout d’abord, veuillez noter qu’il s’agit de deux concepts complètement différents.

Réseau jumeau:Une architecture d'apprentissage en profondeur principalement utilisée dans la récupération d'images, la correspondance d'images, la classification d'images et d'autres domaines. Il réalise la comparaison et l'analyse de la similarité des images en apprenant la représentation intégrée des images.

Réseau de jumeaux numériques:Un modèle virtuel d'une entité physique, qui interagit avec son entité physique correspondante via des mises à jour de données en temps réel et une technologie de simulation, et peut simuler le comportement et les performances de l'entité physique dans différentes conditions. Il est principalement utilisé dans la fabrication industrielle, l’Internet des objets, l’urbanisme, l’aérospatiale et d’autres domaines.

En tant qu'algorithme d'IA, Twin Network peut exploiter ses propres avantages pour renforcer et améliorer l'efficacité des réseaux de jumeaux numériques.

Par exemple, dans le jumeau numérique d’un équipement industriel, le réseau jumeau peut comparer les images de l’équipement à différents moments pour comprendre les changements et les différences dans l’état de l’équipement ; Dans la planification de villes jumelles numériques, le réseau jumeau peut traiter les données d'image capturées par des sondes de surveillance, effectuer une surveillance et une simulation en temps réel du flux de trafic et des conditions routières, etc.

En résumé, Twin Network fournit un support et des applications liés à l'image pour Digital Twin Network en combinant des données d'image et une technologie d'apprentissage en profondeur, améliorant ainsi les capacités d'acquisition d'informations, de surveillance et de prise de décision des jumeaux numériques.

Outre Twin Network, d’autres outils d’IA permettront également de renforcer les jumeaux numériques.