En Collectant 30 Go Et Près De 200 000 Paires D'échantillons D'entraînement, L'équipe De L'université Fudan a Publié UniFMIR : Utiliser L'ia Pour Briser Les Limites De L'imagerie Microscopique

La microscopie à fluorescence est un outil de recherche indispensable et important dans le domaine des sciences de la vie. Son principe est d'utiliser la lumière ultraviolette comme source lumineuse pour éclairer l'objet inspecté afin de le rendre fluorescent, puis d'observer la forme et l'emplacement de l'objet sous un microscope. Il peut être utilisé pour étudier l’absorption et le transport de substances dans les cellules, la distribution et le positionnement des substances chimiques, etc.

Cependant, une exposition de haute intensité à la lumière d’excitation peut affecter les cellules directement ou indirectement par le biais de processus photochimiques. Lors d'expériences prolongées sur des cellules vivantes, il est souhaitable de pouvoir observer la fluorescence avec une exposition minimale à la lumière. Cependant, une exposition plus faible entraînera des signaux de fluorescence plus faibles, réduira le rapport signal/bruit (SNR) de l'image et rendra l'analyse quantitative de l'image plus difficile.

Par conséquent, la restauration d’images basée sur la microscopie à fluorescence (FMIR) a attiré une grande attention dans le domaine des sciences de la vie. Son objectif est d'obtenir des images à SNR élevé à partir d'images à faible SNR, ce qui permet de révéler des informations d'imagerie importantes à l'échelle nanométrique.

À l’heure actuelle, bénéficiant du développement rapide de la technologie de l’intelligence artificielle, de nombreux FMIR basés sur l’apprentissage profond ont dépassé les limites physiques de la microscopie à fluorescence et ont réalisé des progrès significatifs.Cependant, les modèles traditionnels sont toujours confrontés à des défis tels qu’une faible capacité de généralisation et une forte dépendance aux données.

À cet égard, une équipe de recherche de l'École d'informatique et de technologie de l'Université Fudan a publié un article intitulé « Pré-entraînement d'un modèle de base pour la restauration d'images généralisables basées sur la microscopie à fluorescence » dans Nature Methods.Le modèle d'IA de base d'amélioration d'image multidimensionnelle et multitâche proposé UniFMIR dépasse non seulement les limites existantes de l'imagerie par microscopie à fluorescence, mais fournit également une solution générale pour l'amélioration d'image par microscopie à fluorescence.

Points saillants de la recherche :

• Le modèle UniFMIR améliore considérablement les performances de cinq tâches principales : la super-résolution d'image, la reconstruction isotrope, le débruitage 3D, la projection de surface et la reconstruction de volume.

• Dépasser les limites de l'imagerie par microscopie à fluorescence existante

• Applicable à différentes tâches, modalités d'imagerie et structures biologiques grâce à un simple réglage des paramètres

Adresse du document :
https://www.nature.com/articles/s41592-024-02244-3 

Suivez le compte officiel et répondez « Imagerie microscopique » pour obtenir le PDF complet

Ensemble de données : 30 Go, 196 418 paires d’échantillons d’entraînement

Les chercheurs ont collecté un grand ensemble de données de formation (environ 30 Go) à partir de 14 ensembles de données publics, comprenant 196 418 paires d’échantillons de formation.Une large gamme de modalités d’imagerie, d’échantillons biologiques et de tâches de restauration d’images sont couverts. Dans le même temps, les chercheurs ont également regroupé les ensembles de données en fonction de différentes tâches de restauration d’images et méthodes d’imagerie basées sur la microscopie à fluorescence.

Étant donné que ces ensembles de données varient considérablement en termes de format, de domaine et de plage numérique, les chercheurs ont traité les images pour faciliter la formation ultérieure et la validation des ensembles de données croisés. Plus précisément, il écrit les images d'entrée et GT des ensembles de données existants avec différents formats de stockage (y compris « TIF », « npz », « png » et « nii.gz ») dans un fichier « .npz ». De plus, les images ont été normalisées pour unifier la distribution numérique des différents ensembles de données en suivant la méthode de traitement des données dans CARE4.

Architecture du modèle : structure multi-têtes et multi-queues

Le modèle UniFMIR construit par les chercheurs utilise une structure multi-têtes et multi-queues.Comme le montre la figure suivante :

Spécifiquement,UniFMIR se compose d'un module multi-têtes, d'un module d'amélioration des fonctionnalités et d'un module multi-queues.

Le module multi-têtes et le module multi-queues utilisent différentes branches pour extraire des caractéristiques superficielles pour des tâches spécifiques et obtenir des résultats précis pour différents problèmes de restauration d'image.

Le module d'amélioration des fonctionnalités adopte la structure avancée du transformateur Swin pour améliorer la représentation des fonctionnalités et reconstruire des fonctionnalités universelles et efficaces, obtenant ainsi une restauration d'image de haute qualité basée sur la microscopie à fluorescence. Différentes opérations de restauration d'images basées sur la microscopie à fluorescence couvrent différentes branches de tête et de queue, mais partagent le même module d'amélioration des fonctionnalités.

Le modèle UniFMIR est implémenté dans PyTorch et optimisé à l'aide de l'estimation adaptative du moment (Adam).Parmi eux, β1 = 0,9, β2 = 0,999 et un total de 500 époques ont été formées. Le taux d'apprentissage initial est de 5 × 10^-5  Au départ, le taux est réduit de moitié après 200 époques. Toutes les expériences ont été réalisées sur une machine équipée d'un GPU Nvidia GeForce RTX 3090 avec 24 Go de mémoire.

Au cours de la phase de pré-formation, les chercheurs saisissent toutes les données de formation dans le modèle et utilisent les données correspondantes pour optimiser différentes branches de tête et de queue afin d'effectuer différentes tâches. La branche d’amélioration des fonctionnalités intermédiaires est optimisée à l’aide de toutes les données de formation.

Au cours de la phase de réglage fin, les chercheurs ont défini la taille du lot/de la taille du patch à 4/128, 32/64, 32/64, 4/64 et 1/16 pour les tâches de super-résolution d'image, de reconstruction isotrope, de débruitage 3D, de projection de surface et de reconstruction de volume, respectivement, pour produire de meilleurs effets d'apprentissage.

Le modèle est pré-entraîné en collectant des ensembles de données à grande échelle et en affinant les paramètres du modèle à l'aide de données provenant de différentes tâches d'amélioration d'image.UniFMIR présente de meilleures performances d'amélioration et de généralisation que les modèles propriétaires.

Résultats de la recherche : Amélioration considérable des performances de 5 tâches principales

Les résultats de la recherche montrent que le modèle de base d'IA d'amélioration d'image de microscope à fluorescence UniFMIR a considérablement amélioré les performances dans cinq tâches principales : « super-résolution d'image, reconstruction isotrope, débruitage 3D, projection de surface et reconstruction de volume ».

• Super résolution (SR)

Nous avons d'abord validé le potentiel de l'approche UniFMIR pour résoudre les problèmes SR, qui impliquaient des images de complexité structurelle croissante, notamment des puits recouverts de cellules (CCP), du réticulum endoplasmique (ER), des microtubules (MT) et de l'actine fibreuse (F-actine), obtenues à l'aide d'un système de microscopie à illumination structurée multimodale.

UniFMIR a déduit avec succès des images SR SIM à partir d'images à champ large (WF) avec des niveaux de fluorescence élevés à l'échelle limitée par la diffraction et a révélé des détails structurels clairs.

Comparé à deux modèles de microscopie à fluorescence SR basés sur l'apprentissage profond (XTC15 et DFCAN5) et à un modèle de super-résolution d'image unique (ENLCN36), UniFMIR est capable de reconstruire correctement la plupart des images de microtubules sans les manquer ni les fusionner, même lorsque les microtubules sont densément distribués et proches les uns des autres. Pour diverses structures subcellulaires, UniFMIR a également récupéré des CCP creux en forme d'anneau et des fibres d'actine F entrelacées avec une grande fidélité.

Les chercheurs ont également quantifié la précision SR obtenue à l'aide du rapport signal/bruit de pointe (PSNR), de la métrique de l'indice de similarité structurelle (SSIM), de l'erreur quadratique moyenne normalisée (NRMSE), de l'estimation de la résolution à partir de l'analyse de décoration, de la corrélation en anneau de Fourier (FRC), de l'analyse SQUIRREL et des métriques de segmentation, comme indiqué dans la figure ci-dessus.

Lors de l'évaluation de l'intensité de fluorescence et de la structure des images SR SIM, des valeurs PSNR/SSIM plus élevées et des valeurs NRMSE plus faibles indiquent un meilleur SR, et UniFMIR excelle clairement dans ces mesures.

• Reconstruction isotrope

L'isotropie signifie que les propriétés physiques, chimiques et autres d'un objet ne changeront pas avec différentes directions. Par exemple, tous les gaz, liquides (à l’exception des cristaux liquides) et objets amorphes présentent une isotropie. En revanche, l'anisotropie signifie que tout ou partie des propriétés chimiques, physiques et autres d'une substance changeront avec les changements de direction, présentant des propriétés différentes dans différentes directions.

Les chercheurs ont appliqué UniFMIR aux données brutes anisotropes de l'imagerie volumétrique du foie de souris pour prédire les coupes axiales isotropes et les ont comparées à deux modèles de reconstruction isotrope basés sur l'apprentissage profond (modèles CARE et 3D U-Net).

Les résultats montrent qu'UniFMIR produit des résultats de reconstruction isotrope plus précis avec une distribution de pixels.

• Débruitage 3D

Les chercheurs ont également évalué les performances d'UniFMIR dans la tâche de débruitage d'images de cellules vivantes sur les ensembles de données Planaria et Tribolium.

Comparé à deux modèles de débruitage basés sur U-Net, CARE et GVTNets, le modèle UniFMIR a supprimé de manière significative le bruit des images de microscopie à fluorescence à faible rapport signal/bruit à différentes puissances laser/temps d'exposition, et a clairement représenté les volumes de vers plats (S. mediterranea) et de bousiers rouges avec des noyaux marqués, ce qui est utile pour observer le développement embryonnaire.

• Projection de surface

Pour mieux analyser et étudier le comportement des cellules épithéliales en développement chez Drosophila melanogaster, la projection de surface permet de projeter un volume 3D dans une image de surface 2D. Les modèles d'apprentissage profond actuels (ARE et GVTNets) divisent ce problème de restauration d'image en deux sous-problèmes, à savoir la projection de surface 3D vers 2D et le débruitage d'image 2D, et utilisent deux réseaux spécifiques à la tâche pour les résoudre en suivant le même cadre encodeur-décodeur que U-Net.

La méthode proposée dans cette étude étudie plus en détail UniFMIR dans une tâche de restauration d'image de microscopie à fluorescence composée plus complexe.Comparé à ARE et GVTNets, UniFMIR atteint une précision de reconstruction de projection plus élevée en termes de métriques PSNR/SSIM/NRMSE.

• Reconstruction volumique

Dans l’expérience, les chercheurs ont également vérifié la capacité d’UniFMIR à effectuer une reconstruction volumique sur les données fournies par VCD-Net. Le volume 3D reconstruit de chaque vue peut identifier la trajectoire de mouvement de l'objet imagé, comme le montre la figure ci-dessous, ce qui permet de révéler les mécanismes de base de nombreuses dynamiques cellulaires vivantes complexes impliquant diverses structures sous-cellulaires.

En résumé, un microscope à fluorescence équipé d’UniFMIR peut devenir une « arme magique » dans les laboratoires des sciences de la vie. Les scientifiques peuvent observer plus clairement les minuscules structures et les processus complexes à l’intérieur des cellules vivantes, accélérant ainsi les découvertes scientifiques et les innovations médicales dans les sciences de la vie, la recherche médicale et les domaines liés au diagnostic des maladies dans le monde entier.

Parallèlement, dans les domaines de la fabrication de semi-conducteurs, de la recherche et du développement de nouveaux matériaux, etc., cette réalisation peut être utilisée pour améliorer la qualité de l'observation et de l'analyse de la microstructure des matériaux, optimisant ainsi les processus de fabrication et améliorant la qualité des produits. À l’avenir, les scientifiques du Laboratoire des sciences de la vie pourront améliorer en permanence les capacités de reconstruction d’images d’UniFMIR en augmentant encore la quantité et la richesse des données de formation.

L'IA ouvre la voie à un nouveau paradigme dans le traitement des images dans les sciences de la vie

Aujourd’hui, les progrès de la microscopie génèrent de grandes quantités de données d’imagerie, et la manière de traiter efficacement les images constitue un élément important de la recherche dans le domaine biomédical. Alors que l’intelligence artificielle continue de réaliser des avancées révolutionnaires dans la recherche en sciences de la vie, un nouveau paradigme de traitement d’images piloté par l’IA est arrivé.

En 2020, un professeur de bio-ingénierie de l'Université Rice à Houston, au Texas, en collaboration avec le MD Anderson Cancer Center,développé un microscope informatique appelé DeepDOF,Le microscope est basé sur la technologie de l'IA et sa profondeur de champ peut atteindre plus de 5 fois celle des microscopes traditionnels tout en conservant la résolution, réduisant considérablement le temps nécessaire au traitement de l'image.

En 2021, une équipe de recherche du Weill Cornell Medical College a développé une technique informatique pourEn appliquant des algorithmes de reconstruction d'images de localisation aux positions de pic dans la microscopie à force atomique (AFM) et aux données AFM conventionnelles, la résolution est améliorée au-delà de la limite définie par le rayon de la pointe.Il peut également résoudre des résidus d'acides aminés uniques sur la surface des protéines dans des conditions natives et dynamiques, améliorant considérablement la résolution de l'AFM. Cette méthode révèle des détails à l’échelle atomique des protéines et d’autres structures biologiques dans des conditions physiologiques normales, ouvrant une nouvelle fenêtre sur la biologie cellulaire, la virologie et d’autres processus microscopiques.

En avril 2024, un article du MIT, du Broad Institute du MIT et de l'Université Harvard, ainsi que du Massachusetts General Hospital, a présenté un nouvel outil d'IA capable de capturer l'incertitude dans les images médicales.Le système, appelé Tyche (d'après le dieu grec du hasard), fournit plusieurs segmentations plausibles, chacune mettant en évidence une région légèrement différente de l'image médicale.Les utilisateurs peuvent spécifier le nombre d'options que Tyche doit afficher et sélectionner celle qui convient le mieux à leur objectif.

En résumé, l’IA peut être utilisée pour l’amélioration, la segmentation, l’enregistrement et la reconstruction d’images biomédicales afin d’améliorer la qualité de l’image et d’extraire des informations utiles, donnant aux microscopes une paire d’« yeux d’aigle ». À l’avenir, grâce à l’IA, les microscopes verront plus clairement et traiteront les données plus rapidement, plus automatiquement et plus précisément, rendant la recherche scientifique plus efficace et plus facile.

Références :
1.https://www.nature.com/articles/s41592-024-02244-3
2.https://news.fudan.edu.cn/2024/0413/c5a140009/page.htm
3.https://new.qq.com/rain/a/20240417A06LF900
4.http://www.phirda.com/artilce_28453.html?cId=1
5.https://www.ebiotrade.com/newsf/2024-4/20240412015712482.htm