Le Premier Au Monde ! L'Université Tsinghua/Université Jiaotong De Shanghai Et D'autres Construisent Conjointement Un Modèle De Langage Visuel Pour Le Diagnostic Et Le Traitement Du Diabète, Publié Dans Nature
Le diabète est la maladie chronique majeure qui connaît la croissance la plus rapide au monde. Elle peut provoquer la cécité, une insuffisance rénale, une amputation, un accident vasculaire cérébral, un infarctus du myocarde, etc. Elle est également étroitement liée à l’infection tumorale. Parmi elles, la rétinopathie diabétique (RD) est la complication microvasculaire oculaire progressive la plus fréquente chez les patients diabétiques.Capable d'affecter les patients diabétiques atteints de 30-40%.
Plus important encore, la présence de DR indique également un risque accru d’autres complications (telles que rénales, cardiaques et cérébrales). Par conséquent, un dépistage régulier de la DR a été recommandé comme élément clé des soins primaires du diabète. Cependant, en raison du manque d’infrastructures et de ressources humaines, ainsi que des coûts élevés,Le dépistage de la RD est souvent négligé dans les pays à revenu faible ou intermédiaire.
Ces dernières années, l’intelligence artificielle, en particulier l’apprentissage profond, a joué un rôle de plus en plus important dans la gestion du diabète et de ses complications. Cependant, les solutions passées se sont généralement concentrées sur un seul domaine du dépistage des complications du diabète ou de la gestion auxiliaire, intégrant rarement les deux aspects importants simultanément. Comment intégrer efficacement la génération automatique d'avis de diagnostic et de traitement du diabète avec le diagnostic précis des complications oculaires diabétiques, puis construire un modèle intelligent multimodal sûr et contrôlable pour aider les médecins de soins primaires à fournir des services de diagnostic et de traitement auxiliaires à guichet unique, est la tendance de pointe actuelle et un défi important dans le domaine médical international.
Dans ce contexte, l'équipe du professeur Huang Tianyin, vice-recteur et directeur de la faculté de médecine de l'université Tsinghua, l'équipe du professeur Sheng Bin, département d'informatique, faculté de génie électrique, université Jiao Tong de Shanghai/laboratoire clé d'intelligence artificielle du ministère de l'Éducation, l'équipe du professeur Jia Weiping et du professeur Li Huating, du sixième hôpital populaire affilié à la faculté de médecine de l'université Jiao Tong de Shanghai, et l'équipe du professeur Qin Yuzong, université nationale de Singapour et centre national des yeux de Singapour, ont travaillé ensemble pourA construit avec succès le premier système intégré de modèle de langage visuel à grande échelle au monde, DeepDR-LLM, pour le diagnostic et le traitement du diabète.
Les résultats de recherche pertinents ont été publiés dans Nature Medicine sous le titre « Modèles intégrés d'apprentissage profond et de langage basés sur l'image pour les soins primaires du diabète ».
Le système DeepDR-LLM combine un grand modèle de langage avec une technologie d'apprentissage en profondeur basée sur des images du fond d'œil pour fournir aux médecins de soins primaires des conseils personnalisés sur la gestion du diabète et des résultats de diagnostic auxiliaires pour la rétinopathie diabétique.Le système a été validé rétrospectivement dans une cohorte multicentrique couvrant sept pays dans trois grandes régions : l’Asie, l’Afrique et l’Europe.Cela a également été vérifié par des recherches prospectives dans le monde réel dans les scénarios de soins de santé primaires en Chine, fournissant pour la première fois des preuves de haute qualité fondées sur des preuves concernant les effets d'application des grands modèles multimodaux dans le domaine vertical des soins médicaux du diabète. Le système DeepDR-LLM devrait améliorer considérablement la gestion primaire du diabète et le dépistage de la RD dans les pays à revenu faible et intermédiaire, et fournir une solution numérique révolutionnaire pour la future gestion mondiale du diabète.
Points saillants de la recherche :
* Cette étude a proposé de manière innovante la technologie d'optimisation collaborative de l'adaptateur de fusion (Adaptor) et de l'adaptation de bas rang (Low-Rank Adaptation, LoRA)
* Le module DeepDR-Transformer introduit l'architecture du modèle Transformer et est formé sur plus de 500 000 images du fond d'œil pour détecter avec précision la qualité de l'image du fond d'œil, segmenter les lésions et effectuer un diagnostic de classement DR
* Après avoir intégré le système DeepDR-LLM dans le processus de diagnostic et de traitement du diabète, il peut améliorer considérablement le comportement d'autogestion des patients diabétiques nouvellement diagnostiqués et augmenter la conformité des patients DR à l'orientation.
Adresse du document :
https://www.nature.com/articles/s41591-024-03139-8
Suivez le compte officiel et répondez « Diabetes Diagnostic and Treatment LLM » pour obtenir le PDF complet
Adresse de téléchargement du jeu de données :
Le projet open source « awesome-ai4s » rassemble plus de 100 interprétations d'articles AI4S et fournit des ensembles de données et des outils massifs :
https://github.com/hyperai/awesome-ai4s
Ensembles de données : 14 ensembles de données transversales indépendants
Cette étude comprenait 14 ensembles de données transversales indépendantes.Il contient 7 images de fond d'œil standard de patients diabétiques et 7 ensembles de données transversales indépendantes d'images de fond d'œil portables. Pour les ensembles de données d'images de fond d'œil standard, 2 ensembles de données ont été utilisés pour développer et valider en interne le module DeepDR-Transformer, à savoir : la cohorte Shanghai Integrated Model (SIM) et la cohorte Shanghai Diabetes Prevention Program (SDPP).
aussi,L’étude a également sélectionné 12 ensembles de données multiethniques pour une validation externe.Il s'agit de : la cohorte du Nicaragua Diabetes Screening Project (NDSP), la cohorte de l'étude sur la progression de la rétinopathie diabétique (DRPS), la cohorte de Wuhan Tongji Health Management (WTHM), la cohorte de Peking Union Medical College Diabetes Management (PUDM), la cohorte de China National Diabetes Complications Study (CNDCS), la cohorte de Guangzhou Diabetic Eye Study (GDES), la cohorte de l'Université chinoise de Hong Kong-Sight-mining Diabetic Retinopathy (CUHK-STD), la cohorte de Singapore Eye Disease Epidemiology Study (SEED), la cohorte du Singapore National Diabetic Retinopathy Screening Project (SiDRP), la cohorte de Sankara Nesra Diabetic Retinopathy Epidemiology and Molecular Genetics Study (SN-DREAMS), la cohorte de Thailand National Diabetic Retinopathy Screening Project (TNDRSP) et la cohorte UK Biobank (UKB).
Six ensembles de données supplémentaires ont été utilisés pour la validation externe :La cohorte de l'étude chinoise portable de dépistage de la rétinopathie diabétique de l'Est (CPSSDRE), la cohorte de l'étude chinoise portable de dépistage de la rétinopathie diabétique du Moyen-Orient (CPSSDRM), la cohorte de l'étude chinoise portable de dépistage de la rétinopathie diabétique de l'Ouest (CPSSDRW), la cohorte de l'étude chinoise portable de dépistage de la rétinopathie diabétique du Nord-Est (CPSSDRN), la cohorte de l'étude algérienne sur la rétinopathie diabétique (ADRS) et la cohorte de l'étude ouzbèke sur la rétinopathie diabétique (UDRS).
Les cohortes CPSSDRE, CPSSDRM, CPSSDRW et CPSSDRN sont issues d'un projet de dépistage DR dans le monde réel facilité par Phoebusmed. Pour les ensembles de données ADRS et UDRS, les participants ont été recrutés dans des régions d'Algérie et d'Ouzbékistan, respectivement, et les images du fond d'œil ont été capturées à l'aide d'une variété de caméras de fond d'œil de bureau et portables de Canon, Topcon, Carl Zeiss, Optomed et MicroClear.
Architecture du modèle : DeepDR-LLM se compose de deux modules : LLM et DeepDR-Transformer
Le système DeepDR-LLM se compose de deux modules, comme illustré dans la figure suivante :
* Module I (module LLM),Fournir des conseils de gestion personnalisés aux patients diabétiques ;
* Module II (module DeepDR-Transformateur),Évaluation de la qualité de l'image, segmentation des lésions et classement DR à partir d'images de fond d'œil standard ou portables.
Perfectionnement supervisé du module LLM
Tout d’abord, les chercheurs ont développé le module LLM en peaufinant LLaMA.
Le module I est un modèle LLM enrichi de connaissances du domaine, qui vise à formuler des recommandations de gestion du diabète basées sur diverses métadonnées cliniques telles que les antécédents médicaux, l'examen physique, les tests de laboratoire et les résultats du diagnostic DR et DME. Le LLM initial (c’est-à-dire le LLaMA) n’était pas directement efficace pour générer des recommandations de gestion du diabète en raison d’un manque de connaissances spécifiques au domaine.
Compte tenu de cet écart,Les chercheurs ont développé une méthode de réglage fin supervisé pour intégrer les connaissances liées à la gestion du diabète dans le processus de formation du LLM.Cette approche peut améliorer la capacité du modèle à générer des recommandations de gestion du diabète en ajoutant les connaissances du domaine nécessaires au LLM de base. L'ensemble de données pour le réglage fin supervisé comprend 371 763 paires de données cliniques obtenues rétrospectivement auprès de 267 730 participants du sixième hôpital populaire de Shanghai et du sanatorium de Huadong, ainsi que des recommandations de gestion du monde réel, qui ont été anonymisées après la collecte.
Étant donné que tous les paramètres (c'est-à-dire les poids d'origine du LLM) sont mis à jour lors du réglage fin du LLM, cela n'est évidemment pas optimal en termes d'efficacité.L'équipe de recherche a proposé de manière innovante la technologie d'optimisation collaborative de l'adaptateur de fusion (Adaptor) et de l'adaptation de bas rang (LoRA).Le grand modèle multimodal DeepDR-LLM a été construit, qui peut s'adapter à de grands modèles de langage, y compris LLaMA. Le module LLM intègre la couche réseau de formation avec les paramètres de pondération inhérents au grand modèle de langage, brisant ainsi le goulot d'étranglement de l'optimisation du grand modèle multimodal sous les contraintes des ressources de faible puissance de calcul.
Développement et formation du module DeepDR-Transformer
Le module II peut être utilisé comme un outil pour analyser les images du fond d'œil dans le module I pour la prédiction DR, par conséquent,Les chercheurs ont proposé un modèle distinct appelé DeepDR-Transformer.Le modèle peut extraire différentes caractéristiques des images du fond d'œil après avoir été affiné sur une tâche spécifique.
Les chercheurs ont utilisé des images de fond d'œil standard pour former DeepDR-Transformer sur quatre tâches : un modèle d'évaluation de la qualité de l'image (déterminant l'évaluabilité), un modèle de prédiction de la classification DR, un modèle de prédiction DME (déterminant s'il existe) et un modèle de segmentation des lésions (microanévrisme, hémorragie, taches de coton et exsudats durs). Pour chaque modèle, les chercheurs ont chargé des poids pré-entraînés à partir d'ImageNet, puis ont effectué un réglage fin de bout en bout.
Intégrer les modules I et II
Le système DeepDR-LLM dispose de deux modes : module intégré I et module II.
Dans un modèle intégré avec la participation des médecins,Les résultats du module II (c.-à-d., la gradabilité de l'image du fond d'œil ; la segmentation des lésions des microanévrismes, des taches de coton, des exsudats durs et des hémorragies ; le grade DR ; et le grade DME) peuvent aider les médecins à générer des résultats de diagnostic DR/DME (c.-à-d., la gradabilité de l'image du fond d'œil, le grade DR, le grade DME et la présence ou l'absence de lésions).
En mode d'intégration automatisée,Les résultats du diagnostic DR/DME comprennent la classification de l'image du fond d'œil, la classification DR, la classification DME divisée par le module II et la présence de lésions segmentées par le module II. Ces résultats de diagnostic DR/DME et d’autres métadonnées cliniques seront saisis dans le module I pour générer des recommandations de gestion personnalisées pour les patients diabétiques.
Résultats de recherche : le système DeepDR-LLM peut améliorer les capacités de dépistage de la RD à la base et les niveaux de diagnostic et de traitement du diabète
L'équipe de recherche a invité le professeur Juliana CN Chan de l'Université chinoise de Hong Kong, le professeur Bao Yuqian du sixième hôpital du peuple affilié à la faculté de médecine de l'Université Jiao Tong de Shanghai, le professeur Jonathan E. Shaw du Baker Institute of Heart and Diabetes en Australie, le professeur Justin B. Echouffo-Tcheugui de l'Université Johns Hopkins aux États-Unis et le professeur Gavin Siew Wei Tan du Singapore National Eye Center et d'autres chercheurs célèbres dans les disciplines liées au diabète pour former un comité international d'experts multidisciplinaires.
Le comité d'experts a sélectionné au hasard 100 échantillons de cas de la cohorte d'étude sur les complications chroniques du diabète chinois couvrant 31 provinces et régions de Chine, et a établi un consensus sur le diagnostic et le traitement de chaque cas. Cette réponse a été utilisée comme réponse standard pour réaliser une évaluation à l’aveugle des avis de diagnostic et de traitement donnés par le système DeepDR-LLM et les médecins de soins primaires (PCP).
Tout d’abord, la capacité du système DeepDR-LLM à fournir des conseils sur la gestion du diabète en chinois et en anglais.La figure ci-dessous résume les résultats de l'évaluation des recommandations de gestion du diabète générées par quatre méthodes différentes (DeepDR-LLM, LLaMA, PCP et médecin résident) dans trois domaines différents en anglais et en chinois : l'étendue du contenu inapproprié, l'étendue du contenu manquant et la probabilité d'un éventuel préjudice.
En anglais,Les recommandations DeepDR-LLM du 71% ont été considérées comme exemptes de contenu inapproprié, supérieures à celles du LLaMA (51%), mais comparables à celles du PCP (71%). De plus, la proposition DeepDR-LLM de 36% a été considérée comme n'ayant aucun contenu manquant (PCP : 27%). Enfin, les recommandations DeepDR-LLM pour le 57% ont été jugées comme présentant une « faible probabilité » de causer des dommages, ce qui est comparable au 55% du PCP.
En chinois,Les recommandations DeepDR-LLM de 77% ont été considérées comme n'ayant aucun contenu inapproprié, ce qui était supérieur à celui de LLaMA (66%) et PCP (54%). De plus, 63% des recommandations DeepDR-LLM ont été considérées comme n'ayant aucun contenu manquant, tandis que celui du PCP était de 46%. Les recommandations DeepDR-LLM de 88% ont été jugées comme « peu susceptibles » de causer des dommages, tandis que le PCP a été évalué à 60%.
La figure ci-dessous montre le score total (défini comme la somme des scores spécifiques au domaine) pour les recommandations de gestion générées de 4 manières différentes.En anglais,Les recommandations de gestion formulées par DeepDR-LLM étaient significativement meilleures que celles formulées par LLaMA (P < 0,001) et comparables à celles formulées par les médecins généralistes et les résidents en endocrinologie.
En chinois,DeepDR-LLM a formulé des recommandations de gestion significativement meilleures que LLaMA (P < 0,001) et les PCP (P = 0,010), mais comparables aux résidents en endocrinologie. Autrement dit,La qualité des diagnostics et des avis de traitement produits par le système DeepDR-LLM atteint ou dépasse celle des médecins de soins primaires.
Par la suite, les chercheurs ont effectué des tests externes sur le système DeepDR-LLM en utilisant plus de 500 000 images du fond d'œil provenant de six pays, dont Pékin, Shanghai, Guangzhou, Wuhan et Hong Kong en Chine, ainsi que Singapour, l'Inde, la Thaïlande, le Royaume-Uni, l'Algérie et l'Ouzbékistan.
Évaluer l'efficacité de DeepDR-Transformer en tant qu'outil complémentaire pour les médecins généralistes et les évaluateurs non médecins spécialisés (qui sont actuellement utilisés dans de nombreux programmes de dépistage de la RD, tels que le Royaume-Uni, Singapour et le Vietnam) pour identifier la RD référençable.Les chercheurs ont évalué la précision et l’efficacité temporelle du processus de notation avec et sans l’aide du module DeepDR-Transformer.Comme le montre la figure suivante :
Les résultats montrent que la plage de sensibilité du PCP non assisté est de 37,2%-81,6%, et avec l'aide de DeepDR-Transformer, la plage est améliorée à 78,0%-98,4%. De même, la spécificité a été améliorée de 84,4%-94,8% (non assisté) à 90,4%-98,8% (assisté).
De plus, avec l'aide de DeepDR-Transformer,Le temps médian requis pour l'évaluation a été réduit de 14,66 secondes à 11,31 secondes par œil——Cela montre que le système a considérablement amélioré la précision et l’efficacité de la classification DR, et sa capacité de diagnostic peut même atteindre le niveau des ophtalmologues professionnels.
En outre, l’équipe de recherche a appliqué le système intégré DeepDR-LLM à des processus cliniques réels et a mené une étude prospective auprès de 769 patients diabétiques chinois en soins primaires. Les résultats ont montré qu'après l'intégration du système DeepDR-LLM dans le processus de diagnostic et de traitement du diabète, il pouvait améliorer considérablement le comportement d'autogestion des patients diabétiques nouvellement diagnostiqués et augmenter la conformité des patients DR à l'orientation.
Contribuer à la sagesse asiatique pour une gestion intelligente du diabète
Aujourd’hui, la prévalence croissante du diabète constitue un défi majeur pour la santé publique en Chine et dans le monde. L’intelligence artificielle, en particulier l’apprentissage profond, joue un rôle de plus en plus important dans la gestion du diabète et de ses complications. Les experts de l'équipe de l'Université Tsinghua, de l'équipe de l'Université Jiao Tong de Shanghai, de l'Université nationale de Singapour et de l'équipe du Centre national des yeux de Singapour mentionnés ci-dessus travaillent dans ce domaine depuis de nombreuses années.
En 2017, le professeur Huang Tianyin, alors directeur médical du Singapore National Eye Centre, et son équipeL'entreprise est la première au monde à réaliser un diagnostic automatique des cas de DR modérés à sévères dans des populations multiethniques sur la base d'algorithmes d'apprentissage profond.Les résultats ont été publiés dans le JAMA, ce qui constitue une étape importante dans l’histoire du développement médical intelligent.
En 2018, les équipes du professeur Jia Weiping et du professeur Li Huating ont mené une innovation collaborative intermédicale et d'ingénierie avec l'équipe du professeur Sheng Bin de l'École d'information électronique et d'ingénierie électrique de l'Université Jiao Tong de Shanghai, et se sont associées à des institutions universitaires internationales de premier plan telles que le Singapore National Eye Centre. Avec le soutien de la Commission des sciences et technologies de Shanghai et de l'Université Jiao Tong de Shanghai, ils ont été autorisés à créer le Laboratoire conjoint international « Ceinture et Route » de Shanghai pour la prévention et le contrôle intelligents des maladies liées au métabolisme, qui s'engage à mener une vaste coopération médicale, technique et internationale dans le domaine de la prévention et du contrôle intelligents des maladies liées au métabolisme.
Depuis sa création, le laboratoire commun a analysé des millions de données.Développé un système d'apprentissage profond multitâche amélioré par transfert DeepDR,Il peut réaliser un diagnostic automatique de l'ensemble du parcours de la RD, des lésions légères aux lésions prolifératives, et peut fournir un retour d'information en temps réel sur la qualité des images du fond d'œil et identifier et segmenter les lésions du fond d'œil. Cette technologie est également utilisée dans le cadre du « Projet mondial de dépistage de la rétinopathie diabétique dans les pays à revenu faible et intermédiaire » de la Fédération internationale du diabète et a été promue dans 48 pays. .
Ce résultat a été publié dans Nature Communications en 2021 sous le titre « Un système d'apprentissage profond pour détecter la rétinopathie diabétique à travers le spectre de la maladie ».
* Lien vers l'article :
https://www.nature.com/articles/s41467-021-23458-5
Fin 2021, le professeur Huang Tianyin a été embauché par l'Université Tsinghua en tant que professeur titulaire et responsable de la discipline médicale, et a mené activement des recherches translationnelles sur le diagnostic et le traitement du diabète et des complications des maladies oculaires grâce à l'intelligence artificielle. Grâce à une recherche collaborative continue, le laboratoire commun et l'équipe du professeur Huang Tianyin de l'Université Tsinghua ont réussi à construire un système d'apprentissage en profondeur DeepDR Plus basé sur le modèle de distribution de mélange de Weibull, surpassant la technologie de pointe précédente dans ce domaine par l'équipe américaine de Google. Il s’agit du premier outil au monde à permettre l’alerte sur les risques et la prédiction de la progression de la RD jusqu’à 5 ans, et à maintenir un taux de diagnostic manqué extrêmement faible tout en réduisant considérablement la fréquence des dépistages et les coûts de santé publique. Les résultats ont été publiés dans Nature Medicine en janvier 2024.
En bref, la naissance de DeepDR-LLM peut être considérée comme le « point culminant » des résultats de recherche antérieurs. Adhérant au concept de bien intelligent et axé sur les personnes, les chercheurs ont fourni une base factuelle de haute qualité pour les changements futurs dans la gestion primaire du diabète, permettant à la gouvernance mondiale du diabète de mieux s'intégrer dans la tendance de la numérisation, de l'intelligence et de l'écologisation, et contribuant à la sagesse asiatique pour une gouvernance intelligente du diabète.
Références :
1.https://mp.weixin.qq.com/s/MBtm0hY0gKE8NRQ8GfDy7A
2.https://www.nsfc.gov.cn/csc/20340/20343/68143/index.html
3.https://www.tsinghua.edu.cn/info/1182/112946.htm