Qu'il s'agisse de la bio-impression 3D dans « Westworld », du bras mécanique de Luke Skywalker dans « Star Wars » ou du monde virtuel créé par l'IA dans « Matrix », la riche imagination de ces films de science-fiction révèle le désir de santé et de longévité de l'humanité.

Aujourd’hui, les technologies médicales qui apparaissent souvent dans les films, comme les bras robotisés et l’intelligence artificielle, sont devenues une réalité. Imaginez un avenir où les médecins peuvent vous informer sur votre santé cardiaque et prédire votre risque de maladie de Parkinson simplement en examinant vos yeux. Cela ne ressemble-t-il pas à de la science-fiction ? Mais ce n’est pas un film, c’est une chose réelle.

Auteur : Qiao Qiao

Rédacteur en chef : Sanyang

La rétine est la seule partie du corps humain où le réseau capillaire peut être directement observé. Il fait également partie du système nerveux central. L’intelligence artificielle médicale traditionnelle diagnostique souvent les maladies oculaires en identifiant les problèmes de santé dans les images rétiniennes.

Cependant,Le développement de modèles d’IA nécessite une grande quantité de données annotées par des professionnels, et les modèles sont généralement ciblés sur des tâches spécifiques à une maladie.Elle ne peut pas être étendue à diverses applications cliniques.

Pour remédier à cette situation, Zhou Yukun, doctorant à l'University College London (UCL) et au Moorfields Eye Hospital, et d'autres ont proposé un modèle de base d'image rétinienne RETFound.Il est formé à l’aide d’un apprentissage auto-supervisé sur plus de 1,6 million d’images rétiniennes non étiquetées.Il présente d’excellentes performances dans des tâches telles que le diagnostic/pronostic des maladies oculaires et la prédiction des maladies systémiques.

L’article correspondant a été publié dans Nature.

Obtenez le papier :

https://www.nature.com/articles/s41586-023-06555-x

Répondez « retina » dans le compte public WeChat pour obtenir le document complet au format PDF.

Détails de la formation du modèle RETFound

Données d'entraînement : CFP+OCT, un total de plus de 1,64 million d'images

La construction du jeu de données RETFound se compose de deux parties :

* Image CFP :Un total de 904 170 images, dont 90,21 TP3T provenant de MEH-MIDAS et 9,81 TP3T provenant de Kaggle EyePACS33

* Images OCT :Un total de 736 442, dont 85,21 TP3T provenaient de MEH-MIDAS et 14,81 TP3T provenaient d'autres références

MEH-MIDAS est un ensemble de données rétrospectives.Les dossiers d'imagerie oculaire complets de 37 401 patients (16 429 femmes, 20 966 hommes et six de sexe inconnu) atteints de diabète et fréquentant le Moorfields Eye Hospital de Londres entre 2000 et 2022 ont été inclus.

L’âge moyen de ces patients était de 64,5 ans avec un écart type de 13,3 ans. Compte tenu de la diversité de la répartition ethnique, les patients comprenaient des Britanniques (13,7%), des Indiens (14,9%), des Caribéens (5,2%), des Africains (3,9%), d'autres races (37,9%) et des patients qui n'ont pas révélé leur race (24,4%).

Les données de l'ensemble de données MEH-MIDAS proviennent de divers appareils d'imagerie, tels que Topcon 3DOCT-2000SA (Topcon), CLARUS (ZEISS) et Triton (Topcon).

Les appareils d'imagerie de données pour l'ensemble de données EyePACS comprennent Centervue DRS (Centervue), Optovue iCam (Optovue), Canon CR1/DGi/CR2 (Canon) et Topcon NW (Topcon).

RETFOND:Modèle de base pour les images rétiniennes

RETFound est un modèle fondamental pour les images rétiniennes.Il est formé sur 1,6 million d'images rétiniennes non étiquetées à l'aide d'une méthode d'apprentissage auto-supervisé et peut être appliqué à d'autres tâches de détection de maladies oculaires et systémiques avec des annotations claires.

Le modèle RETFound est implémenté à l'aide d'un autoencodeur masqué avec une configuration spécifique.Cet autoencodeur masqué se compose de deux parties :

* Un encodeur :Nous utilisons le grand transformateur de vision (ViT-large), qui contient 24 blocs Transformer et un vecteur d'intégration de taille 1 024. L'entrée est constituée de patchs non masqués (16 × 16) et est projetée dans un vecteur de caractéristiques de taille 1 024. Ces 24 blocs Transformer incluent une auto-attention multi-têtes et un perceptron multicouche, qui acceptent des vecteurs de caractéristiques en entrée et génèrent des caractéristiques de haut niveau.

* Un décodeur :Utilisez le petit transformateur de vision (Vit-small), qui contient 8 blocs de transformateur et un vecteur d'intégration de taille 512. Le patch factice masqué est inséré dans les fonctionnalités de haut niveau extraites comme entrée du modèle, puis le patch d'image est reconstruit après projection linéaire.

Diagramme d'architecture du modèle RETFound

L’objectif de la formation du modèle est de reconstruire des images rétiniennes à partir de versions hautement masquées.Le rapport de masque de CFP est de 0,75, le rapport de masque d'OCT est de 0,85, la taille du lot est de 1 792 (8 GPU × 224 par GPU), le nombre total d'époques d'entraînement est de 800 et les 15 premières époques sont utilisées pour l'échauffement du taux d'apprentissage (augmentant de 0 à 1 × 10^-3 . Les poids du modèle de l'époque finale sont enregistrés comme point de contrôle pour l'adaptation aux tâches en aval.

3 dimensions pour évaluer les performances du modèle RETFound

Afin d’évaluer les performances et l’efficacité d’étiquetage du modèle RETFound, les chercheurs ont comparé le modèle RETFound avec trois autres modèles pré-entraînés.Il s'agit de SL-ImageNet, SSL-ImageNet et SSL-Retinal.Tous les modèles utilisent des stratégies de pré-formation différentes, mais ont la même architecture de modèle et le même processus de réglage fin pour les tâches en aval.

1. Diagnostic des maladies oculaires

Les chercheurs ont utilisé huit ensembles de données publiques pour valider les performances du modèle RETFound dans diverses maladies oculaires et conditions d’imagerie.

Évaluation interne

La figure ci-dessus montre l'évaluation interne, où le modèle ajusté est appliqué à chaque ensemble de données et évalué en interne sur les données de test réservées dans la tâche de diagnostic des maladies ophtalmiques (telles que la rétinopathie diabétique et le glaucome).

Les résultats expérimentaux montrent que :RETFound a obtenu les meilleures performances dans la plupart des ensembles de données, SL-ImageNet se classant deuxième.

Évaluation externe

Pour une évaluation externe, les chercheurs ont évalué les performances du modèle RETFound sur des ensembles de données de rétinopathie diabétique (Kaggle APTOS-2019, IDRID et MESSIDOR-2), qui sont annotés sur l'échelle internationale de gravité de la rétinopathie diabétique clinique à 5 niveaux. Une évaluation croisée est effectuée entre les trois ensembles de données, c'est-à-dire que le modèle est réglé sur un ensemble de données et évalué sur les autres ensembles de données.

Les résultats expérimentaux montrent que le modèle RETFound obtient les meilleures performances dans toutes les évaluations croisées.

2. Pronostic des maladies oculaires

Les chercheurs ont également testé le pronostic de la conversion de l’autre œil en dégénérescence maculaire liée à l’âge humide (DMLA humide) dans un délai d’un an sur les données AlzEye.s'avérer:

* Lorsque l'entrée est CFP, RETFound a les meilleures performances, avec AUROC atteignant 0,862 (95% CI 0,86, 0,865), ce qui est nettement meilleur que le groupe de comparaison ;

* Lorsque l'entrée était OCT, RETFound a obtenu le score le plus élevé avec un AUROC de 0,799 (95% IC 0,796, 0,802), montrant un AUROC statistiquement significativement plus élevé que SSL-Retinal. 

Les résultats expérimentaux montrent que le modèle RETFound est le plus performant dans toutes les tâches.

3. Prédiction des maladies systémiques

Les chercheurs ont utilisé quatre maladies systémiques pour évaluer la performance du modèle RETFound dans la prédiction de la corrélation entre les images rétiniennes et les maladies systémiques.

Performance d'un modèle de prédiction de l'incidence à 3 ans des maladies systémiques à partir d'images rétiniennes

Les quatre maladies systémiques sont : l’infarctus du myocarde, l’insuffisance cardiaque, l’accident vasculaire cérébral ischémique et la maladie de Parkinson.

Les résultats expérimentaux montrent que le modèle RETFound surpasse les autres modèles de comparaison et se classe au premier rang dans la prédiction de quatre maladies.

Limites et défis du modèle RETFound

Bien que le processus de recherche ait systématiquement évalué le rôle de RETFound dans le diagnostic et la prédiction de maladies systémiques telles que les maladies cardiaques, l'insuffisance cardiaque, les accidents vasculaires cérébraux et la maladie de Parkinson, il existe encore certaines limites et certains défis qui doivent être explorés plus en détail dans les travaux futurs.

Tout d’abord, la plupart des données utilisées pour développer RETFound proviennent du Royaume-Uni, il est donc nécessaire de prendre en compte l’impact que l’introduction d’images rétiniennes globales à l’avenir pourrait avoir sur les résultats du modèle.Il est nécessaire d’introduire des données plus diversifiées et équilibrées dans le modèle.

Deuxièmement, bien que cette étude ait exploré les performances du modèle sous CFP et OCT,Cependant, la fusion d’informations multimodales entre CFP et OCT n’a pas encore été étudiée.Cela peut conduire à de nouvelles améliorations des performances de RETFound.

Enfin, quelques informations cliniquement pertinentes,Par exemple, la démographie et l’acuité visuelle,Bien qu’ils puissent servir de covariables valables pour les études ophtalmologiques, ils n’ont pas encore été inclus dans le modèle SSL.

Actuellement, les développeurs de RETFound ont rendu ce modèle public, dans l’espoir que les talents du monde entier puissent s’adapter et former RETFound.Le rendre applicable à différents groupes de patients et à différents contextes de soins de santé.

L'IA aide à façonner le nouvel avenir des soins de santé intelligents

Jusqu’à présent, RETFound est l’une des rares applications réussies du modèle de base en imagerie médicale.Tout en améliorant les performances du modèle et en réduisant la charge d’étiquetage pour les experts médicaux, cela a également attiré l’attention des gens sur l’application pratique de l’IA médicale.

Aujourd’hui, l’industrie médicale entre dans une période de croissance explosive en matière de numérisation, et des capitaux de diverses industries sont entrés sur le marché pour promouvoir l’application de la technologie de l’IA dans l’industrie médicale.

Selon les statistiques de l'Institut de recherche sur l'industrie et les affaires de Chine, en 2020, les soins médicaux IA+ représentaient 18,9% du marché de l'intelligence artificielle, avec une taille de marché de 6,625 milliards de yuans. Selon les statistiques d'IDC, la valeur totale du marché des applications d'intelligence artificielle atteindra 127 milliards de dollars américains d'ici 2025, dont l'industrie médicale représentera un cinquième de la taille du marché. De la couche de base à la couche applicative, il y a beaucoup à faire sur le vaste marché de l’IA médicale.

Source : Institut de recherche sur l'industrie et les affaires de Chine

En regardant le marché étranger, les applications d’IA médicale sont progressivement mises en œuvre :En mars de cette année, Nuance, une société de logiciels de documentation clinique appartenant à Microsoft, a ajouté GPT4 à sa dernière application de transcription vocale ; en avril, Microsoft et Epic ont annoncé qu'ils introduiraient GPT-4 d'OpenAI dans le domaine de la santé pour aider le personnel médical à répondre aux informations des patients et à analyser les dossiers médicaux ; le même mois, Google a annoncé qu'il lancerait son grand modèle médical Med-PaLM 2 auprès du groupe d'utilisateurs.

Au niveau national, iFlytek, SenseTime et d’autres élaborent activement des plans et accélèrent l’exploration des applications industrielles. L’IA et les soins de santé sont devenus une tendance sur laquelle la communauté technologique mondiale est parvenue à un consensus.

Les initiés du secteur estiment que l’application de grands modèles d’IA devrait atténuer considérablement les problèmes du secteur médical. Avec l'approfondissement des scénarios d'application, l'ère de l'industrie médicale intelligente devrait officiellement commencer, et l'industrie offre d'énormes opportunités à long terme.

Liens de référence :

[1]https://www.nature.com/articles/s41586-023-06555-x

[2]https://www.nature.com/articles/d41586-023-02881-2